Онлайн-руководство разработчика NetCat
Модуль «Поиск по сайту» 12.2.1Начало работы с модулем 12.2.2Язык запросов 12.2.3Способы хранения индекса 12.2.4Интерфейс модуля в панели управления сайтом 12.2.5Области индексирования 12.2.6Области HTML-страниц 12.2.7Области поиска на сайте 12.2.8Индексирование по расписанию, запуск индексирования в фоновом режиме 12.2.9Правила индексирования 12.2.10Постановка задачи переиндексирования в очередь 12.2.11Интеграция модуля в макеты дизайна сайта 12.2.12Простая форма поиска 12.2.13Расширенная форма поиска 12.2.14Вывод результатов поиска 12.2.15Стилизация списка подсказок 12.2.16Расширенные настройки 12.2.17Разработка расширений модуля 12.2.18Обзор архитектуры модуля 12.2.19Обработчики документов различных типов 12.2.20Текстовые фильтры 12.2.21Анализаторы текста 12.2.22Корректировщики запросов 12.2.23Подключение других поисковых систем 12.2.24Решение проблем с поиском 12.2.25Решение проблем с индексированием 12.2.26Справочник API

Robots.txt

Данный функционал настроен таким образом, что позволяет указывать его содержимое отдельно для каждого сайта. При этом физически размещать файл в корне сайта нет никакой необходимости. Настройка осуществляется в административном разделе.

Зайдите в настройки сайта, вкладка «Основное» и в поле «Содержимое файла Robots.txt» укажите нужные значения.

В блоке Auto-generated section размещается служебная информация системы, например в настройках SEO каждого раздела можно запретить или разрешить индексацию, в этом случае он дописывается в блок как Allow/Disallow.

Начиная с версии Netcat 5.9.0.18151 в поле для robots.txt можно использовать макропеременные:

  • %SCHEME — будет заменено на протокол (http или https), по которому сделан запрос к robots.txt;
  • %HOST — имя хоста (домен), которое было использовано для запроса robots.txt.

Внимание! В том случае, если на вашем сайте размещён физический файл robots.txt, содержимое, указанное в настройке админраздела учитываться поисковиками не будет.

Описание проекта