Онлайн-руководство разработчика NetCat
Модуль «Поиск по сайту» 12.2.1Начало работы с модулем 12.2.2Язык запросов 12.2.3Способы хранения индекса 12.2.4Интерфейс модуля в панели управления сайтом 12.2.5Области индексирования 12.2.6Области HTML-страниц 12.2.7Области поиска на сайте 12.2.8Индексирование по расписанию, запуск индексирования в фоновом режиме 12.2.9Правила индексирования 12.2.10Постановка задачи переиндексирования в очередь 12.2.11Интеграция модуля в макеты дизайна сайта 12.2.12Простая форма поиска 12.2.13Расширенная форма поиска 12.2.14Вывод результатов поиска 12.2.15Стилизация списка подсказок 12.2.16Расширенные настройки 12.2.17Разработка расширений модуля 12.2.18Обзор архитектуры модуля 12.2.19Обработчики документов различных типов 12.2.20Текстовые фильтры 12.2.21Анализаторы текста 12.2.22Корректировщики запросов 12.2.23Подключение других поисковых систем 12.2.24Решение проблем с поиском 12.2.25Решение проблем с индексированием 12.2.26Справочник API

Обмен данными (Netcat 5.9 и старше)

Список возможностей импорта

  • Работа с самыми распространенными форматами обмена:
    • CSV
    • XLS / XLSX
    • YML
    • CommerceML (только в редакциях E-cmmerce и Extra)
    • Цены и остатки (из прайс-листов формата CSV / XLS / XLSX)
  • Различные способы загрузки файлов для обмена:
    • Ручная загрузка
    • Загрузка по указанному URL
    • Автоматический обмен с 1С/МойСклад (только для формата CommerceML)
    • Также возможен сценарий загрузки файлов по FTP-протоколу
  • Работа с сущностями:
    • Выбор существующего раздела или создание нового на лету
    • Выбор существующего компонента или создание нового на лету
    • Настройка импорта в заданные поля компонента или создание новых полей на лету
    • Поддерживаются все типы полей, включая «Список», «Файл», «Множественный выбор» и «Множественная загрузка файлов»
    • Поддержка специальных полей для компонентов: поля для поиска (фильтр по товарам на странице категории) и поля, задающие варианты товаров
  • Сценарии первичного и последующих импортов:
    • При первом импорте необходимо настроить соответствия данным из файла данным на сайте: разделу и компоненту с полями
    • Имеется возможность дальнейшей настройки разделов, компонентов и их полей, в случае если файлы импорта бы изменены или дополнены новыми данными
  • Уведомления:
    • Возможность ведения логов выполнения импорта
    • Возможность получения отчёта об импорте по указанному email

Мастер настройки обмена

Запуск мастера

Для создания нового обмена необходимо запустить мастер настройки обмена.

Формат обмена и файлы обмена

Далее необходимо выбрать формат обмена и способ загрузки файлов для первоначального импорта.

В форму можно загружать как отдельный файл нужного формата, так и архив с нужными файлами и картинками.

В архиве, использованном в качестве примера, содержатся два CSV-файла и картинки товаров, один содержит в себе данные по дубленкам, а во втором данные по шортам.

Настройка соответствий

Следующий шаг «Соответствие полей» будет повторяться для всех CSV-файлов, которые были присланы.

Необходимо выбрать раздел на сайте (если уже был создан подходящий) или создать новый раздел на сайте, выбрав при этом родительский раздел.

По окончанию обмена в данном разделе будут лежать данные из сопоставляемого файла (dublenki.csv).

Далее необходимо выбрать текущий компонент или создать новый компонент, в котором будут созданы записи о товарах.

В каких случаях нужно создавать новый компонент товара вместо выбора существующего компонента:

  • Если в файле есть поля, которых нет в рассматриваемом компоненте товара.
  • Если ни один из возможных компонентов товара не подходит под текущие данные (например, есть компонент «Товар: Джинсы» и «Товар: Рубашки», а нам необходимо создать «Товар: Галстуки».

При выборе опции «Создать новый компонент на основе существующего» у нового компонента будут те же поля, что и у родительского компонента, но появится возможность создать новые поля, плюс указать поля, которые отличают варианты товаров друг от друга, и поля, по которым возможен поиск.

Далее необходимо указать, сколько строк пропустить из файла (обычно, нужно указать пропуск одной строки, если в файле есть заголовок для данных), и затем сопоставить поля компонента полям из файла.

Если для данного компонента не хватает полей, то поле можно создать на лету, для этого нужно выбрать «Новое поле».

После нажатия на шестерню необходимо указать данные поля, затем сохранить.

Также имеется возможность указать специальные поля: поля, отличающие варианты товаров друг от друга, и поля, по которым возможен поиск.

Сохранение результатов, запуск обмена, логи

После прохождения всех этапов настройки соответствий мастер настройки обмена предложит вам сохранить обмен, если необходимо, и по желанию ввести email для получения отчетов.

Если для данного обмена не подразумевается периодическое обновление добавленных товаров, то обмен можно не сохранять. В этом случае, после обновления вы не увидите данный обмен в списке настроенных обменов с сайтом.

После запуска обмена будет произведено добавление товаров в выбранные разделы и компоненты, и вам будет предоставлен отчет о произведенном обмене.

В нем можно видеть ход выполнения обмена, а также видеть количество событий, которые возникли в результате обмена.

После завершения обмена вы увидите обмен в списке настроенных обменов (только в том случае, если обмен в итоге был сохранен).

Результат обмена отобразится на сайте.

Меню настройки обмена

Для перехода в данное меню нужно нажать на название обмена в списке настроенных обменов.

В меню настройки обмена можно видеть следующие пункты:

  • «Настройки» — здесь находятся общие настройки данного обмена.
  • «Файлы» — здесь находится инструмент для управления файлами в папке обмена.
  • «Хронология обмена» — здесь можно посмотреть логи обмена.
  • «Формат» — здесь можно посмотреть какие разделы, компоненты и инфоблоки настроены для данного обмена.

Меню «Настройки»

В данном меню можно:

  • Настроить автозапуск импорта через определенный временной интервал (например, импорт можно настроить чтобы он срабатывал один раз в день).
  • Настроить URL, по которому необходимо забирать файл импорта.
  • Настроить отправку отчёта на определенный Email, а также настроить условия, при которых отчёт будет отправляться.
  • Настроить срабатывание автоимпорта после приёма файлов формата CommerceML (только в случае автоматического импорта для формата CommerceML).
  • Запустить мастер настройки обмена.

Меню «Файлы»

В данном меню можно посмотреть какие файлы были загружены на сервер и находятся в нужной папке.
При появлении файлов выводится список файлов в виде двух списков: основные файлы (файлы нужного формата с данными) и остальные файлы (изображения, файлы, и т.д.).

При наличии всех нужных для импорта файлов здесь можно вручную запустить обмен.

Меню «Хронология обмена»

Здесь находится список логов с подробной информацией о ходе выполнения обмена.

Меню «Формат»

Здесь можно посмотреть на то, что с чем было сопоставлено.

Описание форматов обмена

CSV

Названия файлов должны быть на латинице.

Каждый файл формата .csv сопоставляется с одним разделом на сайте. Соответственно, желательно чтобы разные товары (с различными наборами полей) лежали в разных .csv файлах.

Например:

Файл Раздел на сайте
dublenki.csv Каталог / Одежда / Верхняя одежда / Дублёнки
shorty.csv Каталог / Одежда / Шорты
kurtki.csv Каталог / Одежда / Верхняя одежда / Куртки

Разделитель данных в файле: «;»

Правила составления полей для данного формата.

XLS / XLSX

Названия файлов должны быть на латинице. Название листов могут быть любые.

С одним разделом на сайте сопоставляется один лист из файлов формата .xls или .xlsx.

Например:

Файл / Лист Раздел на сайте
verhnaya_odejda.xls / Шубы Каталог / Верхняя одежда / Шубы
verhnaya_odejda.xls / Жилетки Каталог / Верхняя одежда / Жилетки
obuv.xlsx / Туфли Каталог / Обувь / Туфли

В связи с особенностью внутреннего устройства файлов форматов .xls и .xlsx не рекомендуется использовать файлы данных форматов большого размера, т.к. для данных файлов большого размера наблюдается медленная скорость работы и большое потребление оперативной памяти.

Примерные рекомендации по работе с данными файлами: кол-во строк не более 20000 строк, размер не более 5МБ.

Правила составления полей для данного формата.

YML

Документ формата YML — это обычный XML файл, но с определенной Яндексом внутренней структурой. Более подробно в документации Яндекса: https://yandex.ru/support/partnermarket/export/yml.html

Названия файлов должны быть на латинице.

Данный формат, помимо данных о товарах, имеет внутри себя также структуру каталога, которая с большой вероятностью будет не совпадать со структурой на сайте (в случае, если данный YML-файл не был выгружен с вашего же сайта). Для данного файла необходимо произвести сопоставление разделам из файла разделам на сайте.

Например:

Раздел из YML-файла Раздел на сайте
Одежда / Головные уборы / Шапки Каталог / Головные уборы
Одежда / Головные уборы / Кепки Каталог / Головные уборы
Одежда / Аксессуары / Ремни Каталог / Ремни

CommerceML

Данный формат используется в 1C и МойСклад для обмена коммерческой информацией с сайтами.

Со стандартом можно ознакомиться тут: CommerceML

Название файлов должны быть на латинице.

Данный формат содержит в себе все необходимые данные. Необходимо сопоставить разделы из файла разделам на сайте (точно также как в формате YML).

Необходимые файлы для обмена: import.xml и offers.xml

В случае если 1C / МойСклад разбивает их на части, то должны быть файлы: import*.xml и offers*.xml, например:
import0_1.xml
offers0_1.xml

Автоматический режим обновления при помощи CommerceML

Для данного формата доступен автоматизированный обмен с 1C / МойСклад по стандартному протоколу обмена с сайтами: http://v8.1c.ru/edi/edi_stnd/131/.

Для того, чтобы воспользоваться автоматизированным обменом, необходимо выбрать автоматический режим обмена.

А затем следовать инструкции на следующем этапе.

Цены и остатки

Приемлемые файлы: .csv, .xls, .xlsx

Названия файлов должны быть на латинице.

Данный формат обмена предназначен для обновления цен и остатков товаров внутри всех товарных компонентов по артикулу товара.

Обмен заказами через CommerceML с МоимСкладом

Для выгрузки заказов в МойСклад добавьте в его панели управления в разделе «Аккаунт / Настройки / Онлайн-торговля» сайт «Обмен по CommerceML». Один обмен с сайтом можно использовать как для выгрузки товаров на сайт, так и для синхронизации заказов.

Выберите следующие параметры для обмена заказами:

  • включить загрузку заказов — да;
  • обновлять заказ при импорте — «Никогда»;
  • выгружать изменения по заказам — «Расширенный экспорт»;
  • скидка на позицию как сумма — да;
  • остальные параметры — по необходимости.

В настройках модуля «Интернет-магазин» в Netcat (вкладка «Настройки») проверьте значение поля «Статусы заказов для экспорта в 1С, МойСклад». Рекомендуется выгружать только новые и оплаченные заказы.

С такими настройками после создания заказа на сайте он после синхронизации появится в МоёмСкладе, и дальнейшее управление заказом можно будет осуществлять там.

При изменении статуса заказа в МоёмСкладе он будет изменён и в Netcat, если в списке «Статусы заказов» (ShopOrderStatus) есть статус с таким же названием. При этом пользователю будут высланы сообщения по электронной почте и SMS, если их отправка при переходе в такой статус выбрана в настройках модуля «Интернет-магазин». Поэтому необходимо проверить и при необходимости скорректировать статусы заказов в МоёмСкладе и в Netcat.

При указанных настройках изменения заказа на сайте (например, изменение количества или цены, добавление или удаление товаров из заказа) не будет приводить к изменению заказа в МоёмСкладе. Изменения в заказе в МоёмСкладе (кроме статуса заказа) не копируются в заказ на сайте. Это позволяет избежать потери данных о заказе из-за ограничений формата CommerceML и разного подхода к работе с заказами в Netcat и МоёмСкладе, по причине которых не все параметры заказа могут быть корректно синхронизированы в обе стороны.

Правила составления полей для табличных форматов

Для форматов CSV и XLS / XLSX есть набор правил по составлению полей. Каждое поле в файле можно сопоставить с определенным полем определённого типа в компоненте.

Пример табличных данных:

Название Описание Цена Кол-во на складе Изображение
Товар 1 <b>Описание 1</b> 14 990.20 15 imgs/local-img.png
Товар 2 <b>Описание 2</b> 1000 32 400 http://external-img.ru/img2.jpg

Правила составления данных для разных типов полей компонента:

Тип данных Примеры полей Правила составления
Строка Название товара
Тип товара
Цвет товара
Простой текст
Примеры значений:
Кожанка Nike Man
Куртка
Чёрный
Целое число Кол-во товара
Кол-во пуговиц
Позиция в рейтинге
Число в любом виде, возможно даже с дробной частью.
Разделитель дробной части: «.».
Разделители тысяч: « », «,».
Будет преобразовано в нужный вид и формат, например: 15990
Примеры значений:
14000
15 990
1,390.00
23,800,900.5
Текстовый блок Описание товара Простой текст, может содержать HTML-теги
Примеры значений:
Крутая куртка для крутых
Список Валюта Значение из списка, сам список задается в настройках поля, поле «Формат».
Если данное значение найдено в указанном списке, то в компонент оно попадет в виде ID.
Если данное значение не будет найдено — то оно будет создано в списке и добавлено в виде ID
Примеры значений:
RUB
EUR
Логическая переменная (истина или ложь) Есть карманы? 1 или 0.
Также возможны значения: «true», «yes», «да». Они будут преобразованы в «1».
Остальные любые значения будут преобразованы в «0».
Примеры значений:
1
TRUE
true
yes
+
0
false
NO
no
Файл Изображение
Инструкция
Два варианта:
1) Если файл лежит рядом с файлом с данными, то в этом поле должен быть относительный путь до файла.
2) Если ссылка, то она должна начинаться с «http://» или «https://».
Примеры значений:
img1.jpg
imgs/goods/img1.jpg
https://img.ru/img2.png
http://files.com/instruction.pdf
Число с плавающей запятой Цена
Ширина
Вес
Любое число в любом формате.
Разделитель дробной части: «.».
Разделители тысяч: « », «,».
Будет преобразовано в нужный вид и формат, например: 2000.9
Примеры значений:
1000
2,000.90
500.5
25 535 643.02
Дата и время Дата модерации Дата и время, будет произведена попытка унифицировать данные в нужный формат, например: 2018-12-31 23:59:59
Примеры значений:
01.01.2015
2018-02-10 10:00:30
Множественный выбор Теги Значения из списка, сам список задается в настройках поля, поле «Формат».
Если данные значения найдены в указанном списке, то в компонент они попадут в нужном виде.
Если данные значения не будут найдены — то они будут созданы в списке и добавлены в нужном виде.
Значения должны быть разделены при помощи разделителя: «|».
Примеры значений:
Одежда для мужчин|Модная одежда|Стиль
Множественная загрузка файлов Слайдер изображений
Дополнительные файлы
Правила для значений такие же, как для поля типа «Файл», единственное отличие в том, что значения должны быть перечислены через разделитель: «|».
Примеры значений:
img1.jpg|imgs/goods/img1.jpg|img3.jpg
https://files.com/instruction2.pdf|https://files.com/instruction1.pdf

Прочие рекомендации

  • Для файлов .csv и для листов в файлах .xls / .xlsx давайте осмысленные названия, тогда эти названия будут автоматически использованы для генерации ключевого слова раздела и компонента.
  • Для табличных файлов (.csv, .xls, .xlsx) задавайте заголовок данных, причем такой, чтобы он потом совпадал с названием поля в компоненте. В таком случае поля из файла будут сопоставляться полям в компоненте автоматически.
  • Отдавайте предпочтение формату .csv, нежели .xls / .xlsx, т.к. обработка .csv занимает на порядок меньше времени (из-за простоты самого формата .csv и внутренней сложности .xls / .xlsx).
  • Отдавайте предпочтение локальным файлам / картинкам, нежели чем URL (для типов полей «Файл» и «Множественная загрузка файлов», потому что загрузка по URL занимает достаточно большое количество времени.
  • Повысьте параметры сервера memory_limit и max_execution_time для более стабильной и надежной работы обмена на больших выгружаемых данных.
Описание проекта