Зеркальщик

Что такое Робот-Зеркальщик?

Интернет — это хаос, в котором ежедневно создаются миллионы одинаковых копий контента. Афилиат-зеркальщик (Mirroring Crawler) — это программа на стороне поисковика, которая чистит поисковую выдачу от "клонов".

Представьте, что один и тот же сайт доступен по адресам site.ru и www.site.ru. Для поисковика это два разных домена с абсолютно одинаковыми текстами (на 100% плагиат). Если бы не Зеркальщик, поисковая выдача (Топ-1 и Топ-2) состояла бы из этих двух доменов (одной компании). Работа зеркальщика — проанализировать эти сайты, признать их Зеркалами, выбрать один Главным (оставить в результатах), а второй — исключить.

Логика работы алгоритма

Робот-Зеркальщик ищет сходства не только по текстам. Он выявляет хитрости маркетологов (когда компания создает 5 сайтов с одинаковыми товарами, но разным дизайном, чтобы монополизировать Топ-10). Робот проверяет:

• Контактные данные: Совпадение номеров телефонов, адреса офиса, реквизитов (ОГРН/ИНН).
• Технические параметры: Одинаковые IP-адреса хостинга, одинаковые NS-сервера, одинаковый аккаунт Google Analytics или Яндекс Метрики (смертельно опасный отпечаток).
• Ассортимент: Одинаковые цены до рубля, идентичные структуры товарных категорий и фотографии товаров (один и тот же склад).

"Грязная игра" (Пессимизация конкурентов)

Из-за жесткости Зеркальщика в конкурентных коммерческих нишах (например, микрозаймы или ремонт техники) используется "Черное SEO". Злоумышленник тайно создает точную копию сайта конкурента (с его же текстами и телефонами) на сотне дешевых "мусорных" доменов.

Когда Зеркальщик обнаруживает 100 одинаковых сайтов с паршивым качеством, он может ошибиться: склеить настоящий качественный сайт конкурента с мусорными клонами, наложить Аффилиат-фильтр и выбросить бизнес из Яндекса на полгода. Защита от таких атак — это задача технического SEO (настройка запрета доступа по IP на уровне сервера).