Модуль – Антибот

Модуль Антибот - решение, которое одновременно работает для снижения нагрузки ботами на сервер а также скрытия  от индексации контента блоков и участков шаблонов страниц, поэтому одновременно входит в поставку пакетов модулей  Пакет модулей SEO для CS-Cart проектов и Пакет Speed-Up.

Модуль приходит на замену модуля SEOhide в SEO пакете модулей, как более гибкое и эффективное решение (совместимость с темами Unitheme2 и Youpi сохранена).

Проблема и решение

Боты - специальные программы, выполняющие автоматически и/или по заданному расписанию какие-либо действия на сайте. Обычно боты предназначены для выполнения однообразных и повторяемых работ с максимально возможной скоростью, вызывая значительную нагрузку на сервер.

Для индексации сайтов поисковые системы Google, Yandex, Yahoo и многий другие используют свои собственные боты, например: "AdsBot-Google", "Googlebot-Image", "Googlebot" и другие - это боты из Белого списка их работа полезна.

Но существует и вредоносное использование ботов для DDoS- и DoS-атак, для сбора адресов e-mail из контактных форм, аналитики, видео и другой информации сайта - это все боты из Черного спика, которым можно и нужно ограничивать контент. Эти боты, игнорируя все правила, создают огромную нагрузку на сервер, пытаясь одновременно открыть большое количество страниц магазина, в том числе технических страниц (сортировок, фильтров, страниц пагинаций и их комбинаций). 

Выход из этой ситуации есть: отдавать таким ботам страницы, на которых нет лишних ссылок (по которым они могут ходить бесконечно), нет блоков, вывод которых требует сложных вычислений сервером (например, фильтры, сортировки товаров, выбор количества товаров на страницу и др.). То есть: реальный пользователь получает полную версию страницы сайта (без изменений), бот получает урезанную версию страницы (в ее коде нет ничего того, что может вызвать нагрузку сервера или возможность большого числа переходов по страницам).

Как работает модуль Антибот для CS-Cart

• Ограничивает видимость контента блоков или участков шаблона страниц для  ботов (боты получают страницы, в исходном HTML, в котором вырезаны необходимые участки содержимого (блоков или частей шаблонов страниц) ), при этом пользователь работает с полным содержимым страниц;
• Модуль вводит управление справочниками Белый список ботов и Черный список ботов;
• Белый список ботов включает "хорошие" боты, которым есть смысл видеть контент нашего сайта (к таким ботам относятся, например, боты поисковых систем Google и Yandex);
• Черный список ботов включает "плохие" боты, которым мы не хотим показывать контент нашего сайта (эти боты, постоянно сканируя страницы сайта, приводят лишь к повышенной нагрузке на сервер);
• Списки ботов наполнены по умолчанию при установке модуля (благодарим за участие в разработке команду специализированного  CS-Cart облачного хостинга zahid.host) однако в случае необходимости внесения изменений администратор магазина может добавлять, удалять, редактировать ботов в списках;
• Модуль добавляет возможность управления видимостью блоков для ботов (добавляет настройку видимости блока с такими вариантами: Не скрывать, Скрыть для всех ботов (кроме ботов из Белого списка), Скрыть для всех ботов);
• В документации к модулю предлагается список блоков, которые рекомендуется закрыть для Черного и Белого списка ботов;
• В случае, если требуется скрытие контента, который выводится при помощи шаблонов страниц, предусмотрена возможность вставки специальной разметки в шаблоны, по которой модуль выполнит скрытие;
• Темы UniTheme2 (начиная с версии 4.11.4.a) и Yopi (начиная с версии 4.11.4.a) уже имеют разметку скрытия участков шаблонов страниц для модуля Антибот.

Что дает вам использование модуля?

- позволяет отдавать хорошим ботам из Белого списка ботов более "чистые" страницы в плане SEO (поисковой машине совсем не нужно индексировать блоки личного кабинета пользователя, корзины, сортировок и других частей страниц со служебным содержимым);

- снижает нагрузку на сервер в среднем на 20%, так как те блоки и участки кода, которые вы скрываете в настройках или шаблонах не выполняются, отсутствуют полностью в коде страниц, которые отдаются ботам.