SEO

Чому ChatGPT, Claude чи Perplexity не бачать ваш сайт? Перевірте хостинг

Сервер зі щитом, який пропускає Googlebot і зупиняє роботів ШІ-асистентів

Коротко

Часто проблема не в контенті, а у «вхідних дверях»: бот-захист хостингу, плагін безпеки чи CDN відповідають помилкою 403 роботам ChatGPT, Claude чи Perplexity, а Googlebot заходить без проблем. Перевірте це, імітуючи цих роботів, подивіться, який robots.txt насправді віддає сайт, і дозвольте в налаштуваннях безпеки хоча б пошукових роботів. Чи пускати роботів для навчання моделей — окреме рішення.

Ви питаєте ChatGPT про свій бізнес, а він відповідає старими даними або даними з чужого сайту. Просите Claude чи Perplexity відкрити вашу сторінку з цінами, а вони кажуть, що не мають доступу. У Google сайт є, тож здається, що проблема в текстах. Часто це не так: проблема у «вхідних дверях».

Сайти малого бізнесу зазвичай стоять за захистом від ботів: від хостингу, плагіна або CDN. Такий захист пропускає Googlebot, але може не пускати роботів ШІ-асистентів. Ззовні цього не видно: сайт працює і для вас, і для Google.

Це сталося з нами: реальний випадок

8 листопада 2026 року ми перевірили власний сайт web-sensei.com. Файл robots.txt дозволяв усе. І все одно правила бот-захисту, які хостинг застосовує до кожного сайту, віддавали помилку 403 (доступ заборонено) роботам GPTBot, OAI-SearchBot, ClaudeBot і PerplexityBot. А Googlebot у той самий час отримував 200 (сторінка відкривається нормально).

Найгірше: ці роботи не могли прочитати навіть robots.txt і llms.txt. Тобто вони навіть не бачили, що ми їм усе дозволили.

Виправлення не мало нічого спільного з кодом: ми дозволили цих роботів у розділі ботів у панелі хостингу. Після цього всі вони отримували 200.

Висновок: robots.txt — це прохання, а файрвол — зачинені двері. Якщо сервер відповідає 403, уже не важливо, що написано в robots.txt.

Яких роботів використовує кожен асистент

Не всі боти ШІ роблять одне й те саме. Кожна компанія розділяє тих, хто шукає й відповідає, і тих, хто збирає контент для навчання моделей. Ось що каже офіційна документація кожної з них:

Компанія Робот Для чого Якщо заблокувати
OpenAI OAI-SearchBot Показ сайтів у пошуку ChatGPT Вас немає у відповідях пошуку ChatGPT (лише як навігаційне посилання)
OpenAI ChatGPT-User Візити, які ChatGPT робить на прохання користувача ChatGPT не може відкрити вашу сторінку для цієї людини
OpenAI GPTBot Контент, який може йти на навчання моделей Ваш контент не має використовуватися для навчання
Anthropic Claude-SearchBot Індексування контенту для кращих результатів пошуку Менше видимості в пошуку Claude
Anthropic Claude-User Читання сторінок, коли користувач питає Claude Claude не може отримати ваш контент для відповіді
Anthropic ClaudeBot Контент, який може йти на навчання Ваш майбутній контент виключається з навчання
Perplexity PerplexityBot Показ і посилання на сайти в результатах Perplexity (не для навчання) Вас немає в його результатах
Perplexity Perplexity-User Візити на прохання користувача Perplexity не може відкрити сторінку для відповіді
Google Google-Extended Використання контенту для навчання Gemini і для обґрунтування його відповідей Не впливає на присутність і позиції в Пошуку Google

Дві корисні деталі:

  • OpenAI пише, що кожне налаштування незалежне: можна заблокувати GPTBot і далі дозволяти OAI-SearchBot. Також компанія попереджає, що зміна в robots.txt може з'явитися в її пошуку приблизно через 24 години.
  • ChatGPT-User і Perplexity-User діють на прохання людини, і їхні компанії пояснюють, що robots.txt до них може не застосовуватися. Але помилка 403 від сервера їх усе одно зупиняє.

Як перевірити самостійно за 10 хвилин

Крок 1. Подивіться, який robots.txt сайт віддає насправді

Відкрийте в браузері https://vashsait.es/robots.txt. Дивіться на те, що бачать відвідувачі, а не на файл, який ви нібито завантажили: деякі хостинги, системи керування сайтом і плагіни самі створюють або змінюють цей файл.

Шукайте блоки на кшталт User-agent: GPTBot або User-agent: PerplexityBot, після яких стоїть Disallow: /. Майте на увазі: за поясненням Google, робот виконує лише найконкретнішу групу, де його названо. Якщо є окремий блок для OAI-SearchBot, він переважає загальний User-agent: *.

Крок 2. Зімітуйте роботів

Якщо у вас є комп'ютер із терміналом (Mac, Linux або Windows із curl), виконайте:

for ua in Googlebot GPTBot OAI-SearchBot \
  ChatGPT-User ClaudeBot Claude-SearchBot \
  Claude-User PerplexityBot Perplexity-User
do
  printf "%-18s " "$ua"
  curl -s -o /dev/null -w "%{http_code}\n" \
    -A "$ua" https://vashsait.es/
done

Як читати результат:

  • 200 — сторінка відкривається.
  • 403 — доступ заборонено. Найчіткіша ознака блокування.
  • 429 або 503 — забагато запитів або сторінка перевірки. Треба з'ясувати, який захист її показує.
  • 301/302 — переадресація; повторіть перевірку з кінцевою адресою.

Повторіть перевірку для /robots.txt і для внутрішньої сторінки, наприклад сторінки з цінами. Якщо Googlebot отримує 200, а решта — 403, блокування на сервері чи в CDN, а не у вашому контенті.

Чесне застереження: ця перевірка імітує лише назву бота. Деякі системи захисту перевіряють ще й IP-адресу (Perplexity, наприклад, радить адміністраторам перевіряти і те, і те). Тому результат може не на 100 % збігатися з тим, що отримує справжній бот. Сприймайте його як сильний сигнал і підтвердіть у панелі або в журналах.

Крок 3. Попросіть асистента відкрити вашу сторінку

У ChatGPT, Claude чи Perplexity напишіть: «Відкрий https://vashsait.es/precios/ і скажи, які там ціни». Якщо асистент відповідає, що не має доступу, або вигадує дані, — це ще один сигнал. Але не остаточний доказ: асистент може брати стару копію чи інше джерело.

Крок 4. Перегляньте журнали сервера

У статистиці або журналах доступу хостингу знайдіть назви цих роботів і код, який вони отримують. Якщо бачите GPTBot чи PerplexityBot із кодом 403, підтвердження у вас є.

Де зазвичай ховається блокування

Кожен хостинг називає налаштування по-своєму, тож шукайте за змістом:

Де дивитися Що шукати
Панель хостингу Розділи захисту від ботів, файрволу чи підозрілих IP із правилами для окремого сайту
Плагін безпеки (WordPress чи інша CMS) Блокування ботів, user-agent або країн
CDN (наприклад, Cloudflare) Політики для роботів ШІ, режим боротьби з ботами, правила файрволу (WAF)
Файл .htaccess або налаштування сервера Правила, що забороняють доступ за user-agent

У Cloudflare, згідно з офіційною документацією, політики для роботів і агентів ШІ розташовані в Security > Settings з фільтром за трафіком ботів. Там обирають дію для трьох типів поведінки: пошук, агент і навчання. За тією ж документацією, для нових доменів усі три стоять на «дозволити», але хтось міг це змінити. Perplexity також попереджає, що режим Bot Fight Mode у Cloudflare не можна обійти власними правилами файрволу.

Якщо доступу до панелі у вас немає, надішліть тому, хто веде ваш сайт, таке прохання: «Мені потрібно, щоб GPTBot, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot і Perplexity-User отримували 200, а не 403. Яке правило їх блокує?»

Що має бути у вашому robots.txt

Для локального бізнесу, який хоче бути в пошуковиках і асистентах, найпростіше — дозволити все й вказати карту сайту:

User-agent: *
Allow: /

Sitemap: https://vashsait.es/sitemap.xml

Якщо ви не хочете, щоб ваш контент ішов на навчання моделей, але хочете й далі з'являтися в пошуку асистентів, додайте блоки лише для роботів навчання:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://vashsait.es/sitemap.xml

Зверніть увагу: за даними Google, Google-Extended стосується і навчання Gemini, і використання вашого контенту для обґрунтування його відповідей. Блокування не прибирає вас із Пошуку Google, але вимикає це друге використання.

Блокувати навчання чи ні? Вирішувати вам

Єдиної правильної відповіді немає. Практичний спосіб вирішити:

Якщо ваша ситуація… Розумний варіант
Локальний бізнес, якому важливо, щоб його знаходили (автосервіс, клініка, ремонт) Дозволити пошук і агентів; навчання — на ваш розсуд
Ваша цінність в оригінальному контенті (платні гайди, тексти, які ви продаєте) Дозволити пошук і агентів; заблокувати навчання
Ви не хочете жодного ШІ на сайті Заблокувати все, розуміючи, що вас не буде в їхніх відповідях

Чого варто уникати — найпоширенішої ситуації: усе заблоковано, а ви про це не знаєте, через налаштування за замовчуванням або правило, яке хтось увімкнув кілька років тому.

Часті запитання

Якщо заблокувати GPTBot, я зникну з ChatGPT? Не обов'язково. За даними OpenAI, пошук ChatGPT залежить від OAI-SearchBot, який налаштовують окремо.

Чи впливає дозвіл для ботів ШІ на позиції в Google? Google пише, що Google-Extended не впливає на присутність і позиції в Пошуку. Що справді треба стежити — щоб випадково не заблокувати Googlebot.

Чи достатньо правильного robots.txt? Ні. Якщо сервер або CDN відповідають 403, бот навіть не прочитає файл. Anthropic також не радить блокувати її IP-адреси замість robots.txt, бо тоді вона не може прочитати ваші налаштування.

Коли буде видно результат? OpenAI говорить про приблизно 24 години для свого пошуку. Інші компанії термінів не публікують: повторіть перевірку наступного дня і стежте за журналами протягом тижня.

Чек-лист

  • Я відкрив vashsait.es/robots.txt і знаю, що написано у файлі, який віддає сайт.
  • Я зімітував роботів, і жоден пошуковий не отримує 403.
  • robots.txt і llms.txt (якщо він є) теж відповідають цим роботам кодом 200.
  • Я перевірив бот-захист хостингу, плагін безпеки і CDN.
  • Я свідомо вирішив, що робити з GPTBot, ClaudeBot і Google-Extended.
  • Googlebot і далі отримує 200.
  • Я повторив перевірку наступного дня й переглянув журнали.

Відчинити двері — лише перший крок: далі те, що знайдуть асистенти, має бути чітким і узгодженим. Про це — у статті як зробити, щоб ChatGPT та інші ШІ рекомендували ваш бізнес. Для локального бізнесу друга половина — профіль у Google: дивіться нашу послугу локальна видимість.

Якщо хочете, щоб це перевірили ми, наш аудит видимості в ШІ включає перевірку доступу роботів (від 350 € без IVA; деталі на сторінці цін). Або почніть із безкоштовного короткого огляду.

Джерела

Вам також може бути цікаво