Чому ChatGPT, Claude чи Perplexity не бачать ваш сайт? Перевірте хостинг

Коротко
Часто проблема не в контенті, а у «вхідних дверях»: бот-захист хостингу, плагін безпеки чи CDN відповідають помилкою 403 роботам ChatGPT, Claude чи Perplexity, а Googlebot заходить без проблем. Перевірте це, імітуючи цих роботів, подивіться, який robots.txt насправді віддає сайт, і дозвольте в налаштуваннях безпеки хоча б пошукових роботів. Чи пускати роботів для навчання моделей — окреме рішення.
Ви питаєте ChatGPT про свій бізнес, а він відповідає старими даними або даними з чужого сайту. Просите Claude чи Perplexity відкрити вашу сторінку з цінами, а вони кажуть, що не мають доступу. У Google сайт є, тож здається, що проблема в текстах. Часто це не так: проблема у «вхідних дверях».
Сайти малого бізнесу зазвичай стоять за захистом від ботів: від хостингу, плагіна або CDN. Такий захист пропускає Googlebot, але може не пускати роботів ШІ-асистентів. Ззовні цього не видно: сайт працює і для вас, і для Google.
Це сталося з нами: реальний випадок
8 листопада 2026 року ми перевірили власний сайт web-sensei.com. Файл robots.txt дозволяв усе. І все одно правила бот-захисту, які хостинг застосовує до кожного сайту, віддавали помилку 403 (доступ заборонено) роботам GPTBot, OAI-SearchBot, ClaudeBot і PerplexityBot. А Googlebot у той самий час отримував 200 (сторінка відкривається нормально).
Найгірше: ці роботи не могли прочитати навіть robots.txt і llms.txt. Тобто вони навіть не бачили, що ми їм усе дозволили.
Виправлення не мало нічого спільного з кодом: ми дозволили цих роботів у розділі ботів у панелі хостингу. Після цього всі вони отримували 200.
Висновок: robots.txt — це прохання, а файрвол — зачинені двері. Якщо сервер відповідає 403, уже не важливо, що написано в robots.txt.
Яких роботів використовує кожен асистент
Не всі боти ШІ роблять одне й те саме. Кожна компанія розділяє тих, хто шукає й відповідає, і тих, хто збирає контент для навчання моделей. Ось що каже офіційна документація кожної з них:
| Компанія | Робот | Для чого | Якщо заблокувати |
|---|---|---|---|
| OpenAI | OAI-SearchBot |
Показ сайтів у пошуку ChatGPT | Вас немає у відповідях пошуку ChatGPT (лише як навігаційне посилання) |
| OpenAI | ChatGPT-User |
Візити, які ChatGPT робить на прохання користувача | ChatGPT не може відкрити вашу сторінку для цієї людини |
| OpenAI | GPTBot |
Контент, який може йти на навчання моделей | Ваш контент не має використовуватися для навчання |
| Anthropic | Claude-SearchBot |
Індексування контенту для кращих результатів пошуку | Менше видимості в пошуку Claude |
| Anthropic | Claude-User |
Читання сторінок, коли користувач питає Claude | Claude не може отримати ваш контент для відповіді |
| Anthropic | ClaudeBot |
Контент, який може йти на навчання | Ваш майбутній контент виключається з навчання |
| Perplexity | PerplexityBot |
Показ і посилання на сайти в результатах Perplexity (не для навчання) | Вас немає в його результатах |
| Perplexity | Perplexity-User |
Візити на прохання користувача | Perplexity не може відкрити сторінку для відповіді |
Google-Extended |
Використання контенту для навчання Gemini і для обґрунтування його відповідей | Не впливає на присутність і позиції в Пошуку Google |
Дві корисні деталі:
- OpenAI пише, що кожне налаштування незалежне: можна заблокувати
GPTBotі далі дозволятиOAI-SearchBot. Також компанія попереджає, що зміна вrobots.txtможе з'явитися в її пошуку приблизно через 24 години. ChatGPT-UserіPerplexity-Userдіють на прохання людини, і їхні компанії пояснюють, щоrobots.txtдо них може не застосовуватися. Але помилка 403 від сервера їх усе одно зупиняє.
Як перевірити самостійно за 10 хвилин
Крок 1. Подивіться, який robots.txt сайт віддає насправді
Відкрийте в браузері https://vashsait.es/robots.txt. Дивіться на те, що бачать відвідувачі, а не на файл, який ви нібито завантажили: деякі хостинги, системи керування сайтом і плагіни самі створюють або змінюють цей файл.
Шукайте блоки на кшталт User-agent: GPTBot або User-agent: PerplexityBot, після яких стоїть Disallow: /. Майте на увазі: за поясненням Google, робот виконує лише найконкретнішу групу, де його названо. Якщо є окремий блок для OAI-SearchBot, він переважає загальний User-agent: *.
Крок 2. Зімітуйте роботів
Якщо у вас є комп'ютер із терміналом (Mac, Linux або Windows із curl), виконайте:
for ua in Googlebot GPTBot OAI-SearchBot \
ChatGPT-User ClaudeBot Claude-SearchBot \
Claude-User PerplexityBot Perplexity-User
do
printf "%-18s " "$ua"
curl -s -o /dev/null -w "%{http_code}\n" \
-A "$ua" https://vashsait.es/
done
Як читати результат:
- 200 — сторінка відкривається.
- 403 — доступ заборонено. Найчіткіша ознака блокування.
- 429 або 503 — забагато запитів або сторінка перевірки. Треба з'ясувати, який захист її показує.
- 301/302 — переадресація; повторіть перевірку з кінцевою адресою.
Повторіть перевірку для /robots.txt і для внутрішньої сторінки, наприклад сторінки з цінами. Якщо Googlebot отримує 200, а решта — 403, блокування на сервері чи в CDN, а не у вашому контенті.
Чесне застереження: ця перевірка імітує лише назву бота. Деякі системи захисту перевіряють ще й IP-адресу (Perplexity, наприклад, радить адміністраторам перевіряти і те, і те). Тому результат може не на 100 % збігатися з тим, що отримує справжній бот. Сприймайте його як сильний сигнал і підтвердіть у панелі або в журналах.
Крок 3. Попросіть асистента відкрити вашу сторінку
У ChatGPT, Claude чи Perplexity напишіть: «Відкрий https://vashsait.es/precios/ і скажи, які там ціни». Якщо асистент відповідає, що не має доступу, або вигадує дані, — це ще один сигнал. Але не остаточний доказ: асистент може брати стару копію чи інше джерело.
Крок 4. Перегляньте журнали сервера
У статистиці або журналах доступу хостингу знайдіть назви цих роботів і код, який вони отримують. Якщо бачите GPTBot чи PerplexityBot із кодом 403, підтвердження у вас є.
Де зазвичай ховається блокування
Кожен хостинг називає налаштування по-своєму, тож шукайте за змістом:
| Де дивитися | Що шукати |
|---|---|
| Панель хостингу | Розділи захисту від ботів, файрволу чи підозрілих IP із правилами для окремого сайту |
| Плагін безпеки (WordPress чи інша CMS) | Блокування ботів, user-agent або країн |
| CDN (наприклад, Cloudflare) | Політики для роботів ШІ, режим боротьби з ботами, правила файрволу (WAF) |
Файл .htaccess або налаштування сервера |
Правила, що забороняють доступ за user-agent |
У Cloudflare, згідно з офіційною документацією, політики для роботів і агентів ШІ розташовані в Security > Settings з фільтром за трафіком ботів. Там обирають дію для трьох типів поведінки: пошук, агент і навчання. За тією ж документацією, для нових доменів усі три стоять на «дозволити», але хтось міг це змінити. Perplexity також попереджає, що режим Bot Fight Mode у Cloudflare не можна обійти власними правилами файрволу.
Якщо доступу до панелі у вас немає, надішліть тому, хто веде ваш сайт, таке прохання: «Мені потрібно, щоб GPTBot, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot і Perplexity-User отримували 200, а не 403. Яке правило їх блокує?»
Що має бути у вашому robots.txt
Для локального бізнесу, який хоче бути в пошуковиках і асистентах, найпростіше — дозволити все й вказати карту сайту:
User-agent: *
Allow: /
Sitemap: https://vashsait.es/sitemap.xml
Якщо ви не хочете, щоб ваш контент ішов на навчання моделей, але хочете й далі з'являтися в пошуку асистентів, додайте блоки лише для роботів навчання:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://vashsait.es/sitemap.xml
Зверніть увагу: за даними Google, Google-Extended стосується і навчання Gemini, і використання вашого контенту для обґрунтування його відповідей. Блокування не прибирає вас із Пошуку Google, але вимикає це друге використання.
Блокувати навчання чи ні? Вирішувати вам
Єдиної правильної відповіді немає. Практичний спосіб вирішити:
| Якщо ваша ситуація… | Розумний варіант |
|---|---|
| Локальний бізнес, якому важливо, щоб його знаходили (автосервіс, клініка, ремонт) | Дозволити пошук і агентів; навчання — на ваш розсуд |
| Ваша цінність в оригінальному контенті (платні гайди, тексти, які ви продаєте) | Дозволити пошук і агентів; заблокувати навчання |
| Ви не хочете жодного ШІ на сайті | Заблокувати все, розуміючи, що вас не буде в їхніх відповідях |
Чого варто уникати — найпоширенішої ситуації: усе заблоковано, а ви про це не знаєте, через налаштування за замовчуванням або правило, яке хтось увімкнув кілька років тому.
Часті запитання
Якщо заблокувати GPTBot, я зникну з ChatGPT? Не обов'язково. За даними OpenAI, пошук ChatGPT залежить від OAI-SearchBot, який налаштовують окремо.
Чи впливає дозвіл для ботів ШІ на позиції в Google? Google пише, що Google-Extended не впливає на присутність і позиції в Пошуку. Що справді треба стежити — щоб випадково не заблокувати Googlebot.
Чи достатньо правильного robots.txt? Ні. Якщо сервер або CDN відповідають 403, бот навіть не прочитає файл. Anthropic також не радить блокувати її IP-адреси замість robots.txt, бо тоді вона не може прочитати ваші налаштування.
Коли буде видно результат? OpenAI говорить про приблизно 24 години для свого пошуку. Інші компанії термінів не публікують: повторіть перевірку наступного дня і стежте за журналами протягом тижня.
Чек-лист
- Я відкрив
vashsait.es/robots.txtі знаю, що написано у файлі, який віддає сайт. - Я зімітував роботів, і жоден пошуковий не отримує 403.
robots.txtіllms.txt(якщо він є) теж відповідають цим роботам кодом 200.- Я перевірив бот-захист хостингу, плагін безпеки і CDN.
- Я свідомо вирішив, що робити з
GPTBot,ClaudeBotіGoogle-Extended. - Googlebot і далі отримує 200.
- Я повторив перевірку наступного дня й переглянув журнали.
Відчинити двері — лише перший крок: далі те, що знайдуть асистенти, має бути чітким і узгодженим. Про це — у статті як зробити, щоб ChatGPT та інші ШІ рекомендували ваш бізнес. Для локального бізнесу друга половина — профіль у Google: дивіться нашу послугу локальна видимість.
Якщо хочете, щоб це перевірили ми, наш аудит видимості в ШІ включає перевірку доступу роботів (від 350 € без IVA; деталі на сторінці цін). Або почніть із безкоштовного короткого огляду.
Джерела
- OpenAI: Огляд пошукових роботів OpenAI (англійською)
- Anthropic: роботи Claude і як їх заблокувати (англійською)
- Perplexity: Perplexity Crawlers (англійською)
- Google: Список стандартних пошукових роботів Google (Google-Extended)
- Google: Як Google тлумачить специфікацію robots.txt
- Cloudflare: AI Crawler and Agent access policies (англійською)
