Цифровизация генеалогии: Агрегатор архивов

Сайт: central-archive.ru

Неткэт: Corporate

Разработчик: студия COD.INK

Как появилась идея, и с чего все начиналось?

В апреле 2024 года к студии COD.INK обратился заказчик – ООО «Центральный архив «Семейная реликвия» – с предложением возродить свой старый проект по оцифровке работы генеалогов-историков, а именно сервис отправки запросов в архивы. По словам заказчика, крайне неудобно отправлять множество запросов – а генеалоги отправляют их действительно много, чтобы получить полную информацию о происхождении человека, – в различные архивы через сторонние сервисы: приемные архивов, электронную почту или вовсе физическим письмом. Когда-то клиент уже пробовал сделать единый сервис на другой CMS, но в итоге сервис прекратил работу, а также имел существенный недостаток: поток ответов от архивов обрабатывался вручную.

Техническая реализация и выбор CMS

Когда концепция была утверждена, команда разработки перешла к составлению детального технического задания, включающего в себя архитектуру сервиса, функциональные требования и, конечно, требования к CMS. Составление ТЗ – крайне важный этап в реализации любого проекта, ведь без него ни заказчик, ни техническая команда не будут знать, какой конкретно проект должен быть создан. Однако, на этом этапе команда студии совершила ошибку, которая, по их словам, стоила нервов и времени: требования к CMS были прописаны недостаточно детально, из-за чего было принято решение оставить изначальную систему управления сайтом для, как казалось тогда и COD.INK, и заказчику, упрощения и удешевления разработки. В итоге, первоначальная система не подходила, так как не была масштабируема и не имела 2 обратной совместимости (новые версии системы не работали с некоторыми старыми модулями), и примерно на половине проекта, после создания и утверждения дизайн- макетов, завершения верстки и начала технической разработки, было согласовано ее изменение и переход на Netсat. Несмотря на перенос сроков, это было действительно верным решением, так как, во-первых, Netсat имеет компонентную структуру, что значительно ускоряет frontend-часть разработки, во-вторых, удобный в настройке модуль личного кабинета, который является важной частью сервиса, и, наконец, открытую файловую систему, позволяющую легко создавать внешние модули. Таким образом, система Netсat помогла ускорить разработку примерно в 2 раза, несмотря на достаточно большое количество технической разработки вне CMS.

Основные модули

Как было сказано в начале статьи, «ядро» сервиса – это отправка запросов и прием ответов. Отправка запроса происходит в личном кабинете, который реализован на основе модуля NetCat, и включает в себя:

• определение типа запроса и формирование набора полей и данных исходя из него;
• создание pdf-файла запроса;
• отправку этого файла на почту архива, которая подгружается из базы данных. Если у архива нет электронной почты, запрос попадает в соответствующий раздел личного кабинета администратора, откуда он может его распечатать. Также пользователю в его личном кабинете предлагается оплатить печать этого запроса.

Создание удобной формы отправки запроса с автоматической генерацией и отправкой pdf-файла позволило сократить затрачиваемое на этот процесс время в 6 раз – с 30 до 5 минут.

Подобный единый сервис по поиску информации в архивах России и других стран – уникальное решение на рынке генеалогии. За первый месяц работы пользователи отправили более 100 запросов, что подтверждает актуальность сервиса.

Прием ответов от архивов не менее интересен. Для его автоматизации было решено использовать нейросеть, а именно посредством подключения API OpenAI, которую обучили для распознавания имен пользователей, названий архивов и категорий запросов. Например, пользователь может отправить запрос о смерти своего одного родственника в архив А и о браке этого же родственника в тот же архив А, и система не должна перепутать эти запросы и присвоить ответ верному запросу. Реализовать это в рамках какой-либо CMS, конечно, невозможно, однако NetCat позволяет эффективно выходить за свои рамки и создавать внешние модули. Благодаря автоматизации примерно 85% ответов архивов обрабатываются автоматически, при этом отказоустойчивость достигает 100%, то есть все ответы присваиваются без ошибок. Внедрение нейросети позволило снизить затраты на обработку одного письма более, чем в 1000 раз, и сейчас стоимость обработки составляет менее 20 копеек за письмо против 227,5 рублей – ранее.

Помимо «ядра» сервиса есть база данных, которая включает в себя как системные таблицы NetCat (например, прием платежей, регистрация аккаунтов), так и внешние, созданные разработчиками COD.INK (например, типы запросов, список архивов и другие), и они отлично работают друг с другом. Центральная таблица базы данных – таблица архивов – имеет более 6.5 записей, то есть позволяет пользователям отправить запрос в более, чем 6,5 тысяч архивов, которые находятся в 13 странах, помимо России.

Основные используемые модули NetCat:

• личный кабинет, который состоит из кабинета пользователя и кабинета администратора;
• прием платежей для оплаты отправки и печати запросов, оплаты консультаций генеалогов;
• подписка и рассылка, которые используются для подписки пользователем на рассылку при получении бесплатных запросов в личном кабинете и выяснения цели отправки запроса;
• файл-менеджер для интеграции OpenAI, Telegram, Яндекс.ID, Битрикс24 и других целей.

Итоги проекта и планы на будущее

Разработанный сервис «Агрегатор архивов» – это уникальный для генеалогии масштабный проект, который призван начать цифровизацию этой сферы. По словам команды разработки, планы у заказчика большие: создание дополнительных модулей, например, для построения генеалогических деревьев, и расширение уже созданных с добавлением новых категорий поиска информации, оставаясь при этом на CMS NetCat и сотрудничая со студией COD.INK. Примерно за один месяц работы сервис достиг:

• Более 50 реальных регистраций и 25 покупок (с учетом приветственных бесплатных запросов);;
• Пост о запуске проекта в запрещенной соцсети в аккаунте заказчика набрал почти 1000 репостов в сравнении со стандартными 5-10;
• Ежедневно на сайт заходят около 80-100 человек;
• Конверсия отправки форм – 15%.

Как говорит заказчик: «Мне хотелось получить масштабируемый сервис с большой базой данных архивов, в котором были бы автоматизированы отправка запросов в архивы и прием ответов от них. В итоге, все получилось, и сервисом я доволен. Были сложности со сроками сдачи, но мы договорились, и я получил дополнительные работы, которые не были оговорены, за ожидание. Сейчас мы вместе активно тестируем и развиваем проект, я уже обратился за дополнительными работами. Готов рекомендовать студию COD.INK».

Отзыв студии COD.INK: «CMS NetCat обеспечила относительно простой переход с другой системы за счет гибкой компонентной структуры и ускорила разработку благодаря удобным встроенным модулям личного кабинета и авторизации, а также открытой файловой системе, что существенно упрощало для нас внедрение самописных решений с внешними интеграциями, в частности автоматизации приема запросов. При этом стоимость тарифа CMS ниже более популярных конкурентов, что было важно для нас в контексте сохранения изначального бюджета проекта. Также система очень удобна в администрировании, что важно для больших проектов – например, для создания шаблонных SEO-страниц».