Онлайн-руководство разработчика NetCat
Модуль «Поиск по сайту» 13.2.1Начало работы с модулем 13.2.2Язык запросов 13.2.3Способы хранения индекса 13.2.4Интерфейс модуля в панели управления сайтом 13.2.5Области индексирования 13.2.6Области HTML-страниц 13.2.7Области поиска на сайте 13.2.8Индексирование по расписанию, запуск индексирования в фоновом режиме 13.2.9Правила индексирования 13.2.10Постановка задачи переиндексирования в очередь 13.2.11Интеграция модуля в макеты дизайна сайта 13.2.12Простая форма поиска 13.2.13Расширенная форма поиска 13.2.14Вывод результатов поиска 13.2.15Стилизация списка подсказок 13.2.16Расширенные настройки 13.2.17Разработка расширений модуля 13.2.18Обзор архитектуры модуля 13.2.19Обработчики документов различных типов 13.2.20Текстовые фильтры 13.2.21Анализаторы текста 13.2.22Корректировщики запросов 13.2.23Подключение других поисковых систем 13.2.24Решение проблем с поиском 13.2.25Решение проблем с индексированием 13.2.26Справочник API

Robots.txt

Данный функционал настроен таким образом, что позволяет указывать его содержимое отдельно для каждого сайта. При этом физически размещать файл в корне сайта нет никакой необходимости. Настройка осуществляется в административном разделе.

Зайдите в настройки сайта, вкладка «Основное» и в поле «Содержимое файла Robots.txt» укажите нужные значения.

В блоке Auto-generated section размещается служебная информация системы, например в настройках SEO каждого раздела можно запретить или разрешить индексацию, в этом случае он дописывается в блок как Allow/Disallow.

Начиная с версии Netcat 5.9.0.18151 в поле для robots.txt можно использовать макропеременные:

  • %SCHEME — будет заменено на протокол (http или https), по которому сделан запрос к robots.txt;
  • %HOST — имя хоста (домен), которое было использовано для запроса robots.txt.

Внимание! В том случае, если на вашем сайте размещён физический файл robots.txt, содержимое, указанное в настройке админраздела учитываться поисковиками не будет.

Описание проекта