SEO

Почему ChatGPT, Claude или Perplexity не видят ваш сайт? Проверьте хостинг

Сервер со щитом, который пропускает Googlebot и останавливает роботов ИИ-ассистентов

Коротко

Часто проблема не в контенте, а во «входной двери»: бот-защита хостинга, плагин безопасности или CDN отвечают ошибкой 403 роботам ChatGPT, Claude или Perplexity, а Googlebot заходит без проблем. Проверьте это, имитируя этих роботов, посмотрите, какой robots.txt на самом деле отдаёт сайт, и разрешите в настройках безопасности хотя бы поисковых роботов. Пускать ли роботов для обучения моделей — отдельное решение.

Вы спрашиваете ChatGPT о своём бизнесе, а он отвечает устаревшими данными или данными с чужого сайта. Просите Claude или Perplexity открыть страницу с ценами, а они говорят, что доступа нет. В Google сайт есть, поэтому кажется, что дело в текстах. Часто это не так: проблема во «входной двери».

Сайты малого бизнеса обычно стоят за защитой от ботов: от хостинга, плагина или CDN. Такая защита пропускает Googlebot, но может не пускать роботов ИИ-ассистентов. Снаружи этого не видно: сайт работает и для вас, и для Google.

Это случилось с нами: реальный случай

8 ноября 2026 года мы проверили собственный сайт web-sensei.com. Файл robots.txt разрешал всё. И всё равно правила бот-защиты, которые хостинг применяет к каждому сайту, отдавали ошибку 403 (доступ запрещён) роботам GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot. А Googlebot в то же время получал 200 (страница открывается нормально).

Хуже всего: эти роботы не могли прочитать даже robots.txt и llms.txt. То есть они даже не видели, что мы им всё разрешили.

Исправление не имело отношения к коду: мы разрешили этих роботов в разделе ботов в панели хостинга. После этого все они получали 200.

Вывод: robots.txt — это просьба, а файрвол — закрытая дверь. Если сервер отвечает 403, уже не важно, что написано в robots.txt.

Каких роботов использует каждый ассистент

Не все боты ИИ делают одно и то же. Каждая компания разделяет тех, кто ищет и отвечает, и тех, кто собирает контент для обучения моделей. Вот что говорит официальная документация каждой из них:

Компания Робот Для чего Если заблокировать
OpenAI OAI-SearchBot Показ сайтов в поиске ChatGPT Вас нет в ответах поиска ChatGPT (только как навигационная ссылка)
OpenAI ChatGPT-User Визиты, которые ChatGPT делает по просьбе пользователя ChatGPT не может открыть вашу страницу для этого человека
OpenAI GPTBot Контент, который может идти на обучение моделей Ваш контент не должен использоваться для обучения
Anthropic Claude-SearchBot Индексирование контента для лучших результатов поиска Меньше видимости в поиске Claude
Anthropic Claude-User Чтение страниц, когда пользователь спрашивает Claude Claude не может получить ваш контент для ответа
Anthropic ClaudeBot Контент, который может идти на обучение Ваш будущий контент исключается из обучения
Perplexity PerplexityBot Показ и ссылки на сайты в результатах Perplexity (не для обучения) Вас нет в его результатах
Perplexity Perplexity-User Визиты по просьбе пользователя Perplexity не может открыть страницу для ответа
Google Google-Extended Использование контента для обучения Gemini и для обоснования его ответов Не влияет на присутствие и позиции в Поиске Google

Две полезные детали:

  • OpenAI пишет, что каждая настройка независима: можно заблокировать GPTBot и по-прежнему разрешать OAI-SearchBot. Компания также предупреждает, что изменение в robots.txt может отразиться в её поиске примерно через 24 часа.
  • ChatGPT-User и Perplexity-User действуют по просьбе человека, и их компании поясняют, что robots.txt к ним может не применяться. Но ошибка 403 от сервера их всё равно останавливает.

Как проверить самостоятельно за 10 минут

Шаг 1. Посмотрите, какой robots.txt сайт отдаёт на самом деле

Откройте в браузере https://vashsait.es/robots.txt. Смотрите на то, что видят посетители, а не на файл, который вы вроде бы загрузили: некоторые хостинги, системы управления сайтом и плагины сами создают или меняют этот файл.

Ищите блоки вроде User-agent: GPTBot или User-agent: PerplexityBot, после которых стоит Disallow: /. Учтите: по объяснению Google, робот выполняет только самую конкретную группу, где он назван. Если есть отдельный блок для OAI-SearchBot, он важнее общего User-agent: *.

Шаг 2. Сымитируйте роботов

Если у вас есть компьютер с терминалом (Mac, Linux или Windows с curl), выполните:

for ua in Googlebot GPTBot OAI-SearchBot \
  ChatGPT-User ClaudeBot Claude-SearchBot \
  Claude-User PerplexityBot Perplexity-User
do
  printf "%-18s " "$ua"
  curl -s -o /dev/null -w "%{http_code}\n" \
    -A "$ua" https://vashsait.es/
done

Как читать результат:

  • 200 — страница открывается.
  • 403 — доступ запрещён. Самый явный признак блокировки.
  • 429 или 503 — слишком много запросов или страница проверки. Нужно выяснить, какая защита её показывает.
  • 301/302 — переадресация; повторите проверку с конечным адресом.

Повторите проверку для /robots.txt и для внутренней страницы, например страницы с ценами. Если Googlebot получает 200, а остальные — 403, блокировка на сервере или в CDN, а не в вашем контенте.

Честная оговорка: эта проверка имитирует только имя бота. Некоторые системы защиты проверяют ещё и IP-адрес (Perplexity, например, советует администраторам проверять и то, и другое). Поэтому результат может не на 100 % совпадать с тем, что получает настоящий бот. Воспринимайте его как сильный сигнал и подтвердите в панели или в журналах.

Шаг 3. Попросите ассистента открыть вашу страницу

В ChatGPT, Claude или Perplexity напишите: «Открой https://vashsait.es/precios/ и скажи, какие там цены». Если ассистент отвечает, что доступа нет, или выдумывает данные, — это ещё один сигнал. Но не окончательное доказательство: ассистент может брать старую копию или другой источник.

Шаг 4. Посмотрите журналы сервера

В статистике или журналах доступа хостинга найдите имена этих роботов и код, который они получают. Если видите GPTBot или PerplexityBot с кодом 403, подтверждение у вас есть.

Где обычно прячется блокировка

Каждый хостинг называет настройки по-своему, поэтому ищите по смыслу:

Где смотреть Что искать
Панель хостинга Разделы защиты от ботов, файрвола или подозрительных IP с правилами для отдельного сайта
Плагин безопасности (WordPress или другая CMS) Блокировка ботов, user-agent или стран
CDN (например, Cloudflare) Политики для роботов ИИ, режим борьбы с ботами, правила файрвола (WAF)
Файл .htaccess или настройки сервера Правила, запрещающие доступ по user-agent

В Cloudflare, согласно официальной документации, политики для роботов и агентов ИИ находятся в Security > Settings с фильтром по трафику ботов. Там выбирают действие для трёх типов поведения: поиск, агент и обучение. По той же документации, для новых доменов все три стоят на «разрешить», но кто-то мог это изменить. Perplexity также предупреждает, что режим Bot Fight Mode в Cloudflare нельзя обойти собственными правилами файрвола.

Если доступа к панели у вас нет, отправьте тому, кто ведёт ваш сайт, такую просьбу: «Мне нужно, чтобы GPTBot, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User получали 200, а не 403. Какое правило их блокирует?»

Что должно быть в вашем robots.txt

Для локального бизнеса, который хочет быть в поисковиках и ассистентах, проще всего разрешить всё и указать карту сайта:

User-agent: *
Allow: /

Sitemap: https://vashsait.es/sitemap.xml

Если вы не хотите, чтобы ваш контент шёл на обучение моделей, но хотите по-прежнему появляться в поиске ассистентов, добавьте блоки только для роботов обучения:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://vashsait.es/sitemap.xml

Обратите внимание: по данным Google, Google-Extended касается и обучения Gemini, и использования вашего контента для обоснования его ответов. Блокировка не убирает вас из Поиска Google, но отключает это второе использование.

Блокировать обучение или нет? Решать вам

Единственно правильного ответа нет. Практичный способ решить:

Если ваша ситуация… Разумный вариант
Локальный бизнес, которому важно, чтобы его находили (автосервис, клиника, ремонт) Разрешить поиск и агентов; обучение — на ваше усмотрение
Ваша ценность в оригинальном контенте (платные гайды, тексты, которые вы продаёте) Разрешить поиск и агентов; заблокировать обучение
Вы не хотите никакого ИИ на сайте Заблокировать всё, понимая, что вас не будет в их ответах

Чего стоит избегать — самой частой ситуации: всё заблокировано, а вы об этом не знаете, из-за настройки по умолчанию или правила, которое кто-то включил несколько лет назад.

Частые вопросы

Если заблокировать GPTBot, я исчезну из ChatGPT? Не обязательно. По данным OpenAI, поиск ChatGPT зависит от OAI-SearchBot, который настраивается отдельно.

Влияет ли разрешение для ботов ИИ на позиции в Google? Google пишет, что Google-Extended не влияет на присутствие и позиции в Поиске. За чем действительно нужно следить — чтобы случайно не заблокировать Googlebot.

Достаточно ли правильного robots.txt? Нет. Если сервер или CDN отвечают 403, бот даже не прочитает файл. Anthropic также не советует блокировать её IP-адреса вместо robots.txt, потому что тогда она не может прочитать ваши настройки.

Когда будет виден результат? OpenAI говорит примерно о 24 часах для своего поиска. Другие компании сроков не публикуют: повторите проверку на следующий день и следите за журналами в течение недели.

Чек-лист

  • Я открыл vashsait.es/robots.txt и знаю, что написано в файле, который отдаёт сайт.
  • Я сымитировал роботов, и ни один поисковый не получает 403.
  • robots.txt и llms.txt (если он есть) тоже отвечают этим роботам кодом 200.
  • Я проверил бот-защиту хостинга, плагин безопасности и CDN.
  • Я осознанно решил, что делать с GPTBot, ClaudeBot и Google-Extended.
  • Googlebot по-прежнему получает 200.
  • Я повторил проверку на следующий день и посмотрел журналы.

Открыть дверь — только первый шаг: дальше то, что найдут ассистенты, должно быть понятным и согласованным. Об этом — в статье как сделать, чтобы ChatGPT и другие ИИ рекомендовали ваш бизнес. Для локального бизнеса вторая половина — профиль в Google: смотрите нашу услугу локальная видимость.

Если хотите, чтобы это проверили мы, наш аудит видимости в ИИ включает проверку доступа роботов (от 350 € без IVA; подробности на странице цен). Или начните с бесплатного короткого обзора.

Источники

Вам также может быть интересно