User-Agent (Юзер-агент)

Краткая суть

User-Agent — это своего рода «паспорт», который ваш браузер (Chrome, Safari) или поисковый робот (Googlebot, YandexBot) показывает серверу, когда запрашивает любую страницу. Он содержит информацию о названии программы, её версии, операционной системе и типе устройства (мобильный телефон или десктоп).

Как это работает на практике

Когда в адресной строке вы набираете URL сайта, ваш браузер негласно отправляет заголовок, который выглядит примерно так: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36. На сервере система может прочитать этот User-Agent и принять решение: отдать вам мобильную или десктопную версию сайта (если это не адаптивный дизайн), заблокировать вас (если User-Agent выглядит подозрительно), или применить индивидуальные настройки маршрутизации.

Актуальность в 2026 году

В современном интернете классический User-Agent начал устаревать. Из соображений приватности браузеры (особенно Chrome и Safari) в 2026 году активно внедряют технологии скрытия деталей (например, Client Hints), замораживая строку User-Agent, чтобы предотвратить фингерпринтинг (отслеживание пользователей без куки-файлов). Но для SEO строка User-Agent до сих пор играет критическую роль: в файле robots.txt именно по названию этого агента задаются правила сканирования для конкретных роботов (User-agent: Googlebot).

Как применять на практике

• Используйте robots.txt со специфичными User-Agent для разделения прав доступа: заблокируйте "плохих" ботов-парсеров и откройте пути для поисковиков.
• Не возвращайте разный HTML-контент поисковым ботам и обычным пользователям на основе их User-Agent — это называется клоакинг и наказывается баном (если вы не используете систему динамического рендеринга по рекомендациям ПС).

Частые ошибки

• Случайная блокировка хороших ботов на стороне сервера (например, WAF) из-за неправильной настройки фильтрации User-Agent.
• Слишком "агрессивный" robots.txt: директива User-agent: * с запретом Disallow: / закроет доступ всем, от Google до Яндекса, похоронив SEO сайта.