Регистрация
Регистрируясь, вы подтверждаете свое согласие с соглашением об использовании персональных данных.
Восстановление пароля

Как защитить интернет-магазин?

14.07.2015, 00:40
Alex

Зарегистрирован:
2015-03-16
Сообщений: 59

Народ,приветствую Вас.

Как защитить интернет-магазин от парсинга товаров 3-ми лицами?

Как Вы боретесь с этим?


Заранее благодарю.
14.07.2015, 08:44
Nexwich
Панасин Александр
Nexwich

Зарегистрирован:
2011-04-05
Сообщений: 1037

Для отображения контента попробуйте проверять UserAgent и ip далее если что то не так то скорректируйте ему не верный товар, сообщение, переадресуйте на 404 или "не чего", чтобы он долго думал а в чем же проблема.

Модуль "Почтовые уведомления" – настройка email уведомлений на вашем сайте без программирования. Бесплатно. http://netcat.ru/products/CatStore/solution_242.html
14.07.2015, 13:33
Alex

Зарегистрирован:
2015-03-16
Сообщений: 59

Цитата:
Для отображения контента попробуйте проверять UserAgent и ip далее если что то не так то скорректируйте ему не верный товар, сообщение, переадресуйте на 404 или "не чего", чтобы он долго думал а в чем же проблема.


А как понять "что то не так"?
Если юзер использует в качестве инструмента/плагина парсинга допустим Chrome или IE, и я имею ввиду не вручную, потому что от этого спасения нет, а с помощью например программ сторонних (DataCol например) или скриптов различных.

Неплохой вариант на TaoBao.com, они в начале загружают страницу общую, а потом с помощью видимо какого-то скрипта подгружают основной контент товара(фото, данные и т.д.), и для обычных парсеров html страница получается голой, без данных.
14.07.2015, 14:40
Nexwich
Панасин Александр
Nexwich

Зарегистрирован:
2011-04-05
Сообщений: 1037

Цитата:
что то не так

Когда пользователь настраивает свою программу для парсинга он будет ее тестировать верно ли она работает. И вот если ему выдать пустую страницу он долго будет искать проблему в своей программе считая что та глупая.

Другой вариант. На страницу загружать не файл стилей а сразу таблицу стилей.
Далее нескольким селекторам перед товарами и товаров сделать генерируемые название (.q3twc, #qw2qf4 и тд в том числе не существующие разное количество каждый раз) и перемешивать стили так же генерировать дополнительные теги <div> перед товаром названием и другими характеристиками (не оборачивая и оборачивая в них как до так и после) (случайно от 0 до любимого числа) (так же в них написать случайный текст и при помощи генерированных селекторов в стилях скрыть чтобы не мешал).

Таким образом они не смогут настроить формулу для поиска вашего селектора например с названием товара
Классы и id им будут не известны так как каждый раз они новые.
Путь до селектора всегда будет разный то глубже то дальше по сестринским элементам а текст в них будет путать парсер о наличие контента.

Модуль "Почтовые уведомления" – настройка email уведомлений на вашем сайте без программирования. Бесплатно. http://netcat.ru/products/CatStore/solution_242.html
14.07.2015, 20:06
Alex

Зарегистрирован:
2015-03-16
Сообщений: 59

Цитата:
Цитата:
что то не так

Когда пользователь настраивает свою программу для парсинга он будет ее тестировать верно ли она работает. И вот если ему выдать пустую страницу он долго будет искать проблему в своей программе считая что та глупая.

Другой вариант. На страницу загружать не файл стилей а сразу таблицу стилей.
Далее нескольким селекторам перед товарами и товаров сделать генерируемые название (.q3twc, #qw2qf4 и тд в том числе не существующие разное количество каждый раз) и перемешивать стили так же генерировать дополнительные теги <div> перед товаром названием и другими характеристиками (не оборачивая и оборачивая в них как до так и после) (случайно от 0 до любимого числа) (так же в них написать случайный текст и при помощи генерированных селекторов в стилях скрыть чтобы не мешал).

Таким образом они не смогут настроить формулу для поиска вашего селектора например с названием товара
Классы и id им будут не известны так как каждый раз они новые.
Путь до селектора всегда будет разный то глубже то дальше по сестринским элементам а текст в них будет путать парсер о наличие контента.


Огромное спасибо, я думаю это то, что надо.
15.07.2015, 09:38
Nexwich
Панасин Александр
Nexwich

Зарегистрирован:
2011-04-05
Сообщений: 1037

Чтобы не создавать неразбериху на сайте создайте функцию которая будет отвечать за эту кашу.

И помните что js может видеть скрытые объекты а это значит что вам нельзя скрывать доп теги при помощи display:none; visible:hidden; width:0;
Выкручивайтесь позицией, цветом текста, размером шрифта, красной строкой. И чем более непредсказуемый результат тем сложнее будет отследить
Так же не забывайте что парсинг настраивает обычный человек. Не каждый из них разбирается в верстке и потому не сможет понять как обойти эти теги даже если они все в абсолютной позиции. Так как регулярное выражение с поиском строки в стилях с точным указанием стилей нужного тега и последующем получением имени селектора будет очень сложно. Пользователь с высокой вероятностью не знает html а регулярные выражения и подавно.
Если он это сможет то он крутой и я сомневаюсь что его заинтересуют такие задачи.

Модуль "Почтовые уведомления" – настройка email уведомлений на вашем сайте без программирования. Бесплатно. http://netcat.ru/products/CatStore/solution_242.html
198 196 2015-07-15 09:38:53 14232
Описание проекта