За одни сутки, 7 сентября 2026 года, на наш сайт зашёл поисковый робот OpenAI и запросил 902 страницы. Из них 883 адреса разные. Это не бот, который забежал за одной статьёй: он методично обходит каталог, как это делает Яндекс или Google. А вот GPTBot, тот самый, которого владельцы сайтов чаще всего закрывают в robots.txt, пришёл за те же сутки восемь раз. И половина этих восьми вообще не OpenAI: это чужие сканеры, прикрывшиеся его именем.
Так выглядит с изнанки история, о которой в августе заговорили западные исследователи: ChatGPT перестал быть надстройкой над чужим поиском и построил собственный поисковый индекс. Разберём, что это значит на практике, покажем цифры из логов живого сайта на 14 363 курса и соберём инструкцию, что делать со своим сайтом.
Если вы только знакомитесь с темой продвижения в нейросетях, начните с нашего общего гайда «GEO и AEO: как продвигать сайт в нейросетях»: там базовые понятия и пошаговый чек-лист.
А как на ту же ситуацию смотрит Google, мы разбирали в материале «Как продвигаться в AI-поиске». Здесь речь только про ChatGPT и только про то, что изменилось за последние месяцы.
Статья пригодится владельцам сайтов, маркетологам, контент-менеджерам и всем, кто отвечает за трафик. Специальных знаний не нужно: все технические слова объясняем по ходу. Если захочется разобраться в поиске системно, у нас собрана подборка курсов по поисковой оптимизации, от коротких интенсивов до полугодовых программ.
CheckroiПодборка курсов по ChatGPT574 курса • 57 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→
Что случилось: ChatGPT больше не пересказывает чужую выдачу
Когда ChatGPT научился ходить в интернет, схема была простая. Пользователь задаёт вопрос, модель формулирует поисковый запрос, отправляет его в Bing, получает десять ссылок со сниппетами и пересказывает их своими словами. Отсюда родился совет, который до сих пор кочует по конференциям: хотите попасть в ChatGPT — займитесь Bing.
Этот совет устарел. Летом 2026 года исследователи разобрали технический поток данных, который ChatGPT отправляет в браузер, пока печатает ответ. В карточках источников нашлось служебное поле с пометкой, откуда взята каждая ссылка. Значений было четыре: Labrador, Bright, Oxylabs и SERP. Три последних принадлежат внешним поставщикам: два сервиса промышленного парсинга и обычная поисковая выдача. А Labrador — это внутренний индекс самой OpenAI, и именно на него приходилась подавляющая часть карточек.
22 июля пометку из потока убрали. Но за два месяца наблюдений картина успела сложиться, и она подтверждается с других сторон. В материалах антимонопольного процесса против Google руководитель продукта OpenAI под присягой рассказывал, что компания начала строить собственный индекс ещё в 2023 году: качество сторонних поисковиков её не устраивало. Вакансии OpenAI описывают системы хранения экзабайтного масштаба. А наши логи показывают краулер, который ведёт себя ровно так, как ведёт себя робот настоящей поисковой системы.
Коротко. ChatGPT больше не витрина чужого поиска. У него свой обход сайтов, своё хранилище страниц и своя логика отбора источников.
Labrador: как устроен поиск ChatGPT изнутри
Labrador устроен как семейство узких индексов, а не как одна большая база. По наблюдениям исследователей в нём есть отдельные индексы под обычный веб, PDF-документы, YouTube, новости, научные препринты, Википедию, локальные данные, финансы, юридические и медицинские тексты, товары и картинки.
Логика понятная. Вопрос «что почитать про закон о рекламе» и вопрос «где купить фен подешевле» требуют разных источников, разной свежести и разного способа отбора. Одна общая куча документов такие запросы обслуживает плохо, а десяток специализированных — заметно лучше.
Второе важное отличие от классического поисковика: Labrador хранит не только адрес и заголовок, но и содержимое страницы целиком, вместе с датой обхода и датой публикации. Модели нужен текст, а не ссылка: она собирается пересказать материал, а не показать его списком.
Отбор устроен в два этапа, и оба знакомы любому, кто занимался поиском.
Сначала работает BM25 — классический алгоритм текстового поиска, который оценивает, насколько часто слова запроса встречаются в документе, с поправкой на то, что редкие слова весят больше частых. Ему больше двадцати лет, и он до сих пор стоит в основе большинства поисковых систем.
Параллельно идёт векторный поиск. Текст переводят в длинный набор чисел (это называется эмбеддингом), который отражает смысл, а не буквы. Дальше система ищет документы с похожим набором чисел. Так находятся страницы, где нужных слов вообще нет, но по смыслу они подходят: запрос «чем кормить щенка» вытащит статью про рацион молодой собаки.
Два потока кандидатов сливаются, и примерно четыре сотни лучших документов уходят на переранжирование: это второй, более дорогой и более умный проход, который выстраивает финальный порядок. В ответ пользователю попадают единицы.
Отсюда первый практический вывод. Раз система сначала ищет по смыслу, а потом пересортировывает, то текст, написанный по-человечески и прямо отвечающий на вопрос, выигрывает у текста, набитого ключами. Это ровно то, к чему поиск шёл последние годы, и мы писали об этом в разборе будущего SEO.
Канал основателя Checkroi Вани Буявца3 700 человек читают мой Телеграм-канал про нейросетиСобрал промпты для Claude Code и ChatGPT, разборы ИИ-инструментов и лайфхаки по продвижению бизнеса в одном местеПрисоединитьсяЗначит ли это, что Bing можно забыть
Не совсем. Внешние источники из потока не исчезли: они остались в режимах глубокого исследования и подстраховывают систему там, где своего индекса не хватает. Microsoft, со своей стороны, продаёт отдельный продукт для поиска в AI-приложениях и прямо называет ChatGPT среди тех, кого обслуживает.
Меняется другое, и это принципиально. Видимость в Bing больше не гарантирует видимость в ChatGPT. Раньше это было одно и то же окно, теперь их два, и попадание в первое ничего не обещает про второе. Если вся ваша стратегия сводится к «мы есть в Bing, значит нас процитируют», она держится на схеме, которой больше нет.
Заодно исчезает удобное объяснение «нас не показывают, потому что Bing в России слабый». К вашему сайту приходит робот OpenAI напрямую, и всё, что ему мешает, находится на вашей стороне.
Что видно в логах живого сайта
Дальше — наши данные. Мы разобрали журнал обращений к checkroi.ru за 7 сентября 2026 года. Это каталог онлайн-курсов с блогом: сейчас в нём 14 363 курса. Вот сколько запросов сделал каждый крупный робот, который собирает данные для нейросетей.
| Робот | Чей | Запросов за сутки |
|---|---|---|
| meta-externalagent | Meta* | 8274 |
| ClaudeBot | Anthropic | 6236 |
| YandexBot | Яндекс | 3545 |
| PerplexityBot | Perplexity | 3152 |
| Googlebot | 2421 | |
| Amazonbot | Amazon | 1799 |
| Bytespider | ByteDance | 1179 |
| OAI-SearchBot | OpenAI, поиск | 902 |
| ChatGPT-User | OpenAI, переход по ссылке | 316 |
| Applebot | Apple | 155 |
| GPTBot | OpenAI, обучение | 8 |
Первое, что бросается в глаза, — разрыв между двумя роботами OpenAI. 902 против восьми. Поисковый робот ходит по сайту постоянно, обучающий не приходит практически никогда.
Теперь детали по OAI-SearchBot, и они интереснее общей цифры.
Из 902 запросов 883 пришлись на разные адреса. Повторов почти нет: робот идёт по сайту вширь, а не крутится вокруг главной. По разделам: 317 запросов в каталог курсов, 200 в блог, 104 в карточки отдельных курсов, 35 на страницы школ, 16 на страницы экспертов. Отдельно 43 запроса к изображениям в формате webp: картинки он тоже забирает, а не только текст.
Ответы сервера: 873 успешных, 18 «страница не найдена», 11 перенаправлений. Обход шёл круглые сутки, с небольшим всплеском под утро. Никакой ощутимой нагрузки такой робот не создаёт: девятьсот запросов за день — это меньше одного в минуту.
Что это значит для вас. Если робот OpenAI приходит и получает 200 в ответ, ваши страницы лежат у него в индексе. Дальше вопрос уже не в доступе, а в том, выберет ли система именно вас, когда кто-то задаст подходящий вопрос.
Отдельно про восемь запросов GPTBot. Пять из них картинки из старых статей, один главная, один лента блога. А ещё два выглядят так: /.ssh/id_dsa и /firebase-service-account.json. Это не OpenAI. Так ищут чужие ключи и пароли автоматические сканеры, которые подставляют в поле «кто я» любое уважаемое имя, чтобы их не блокировали. К этому вернёмся ниже.
CheckroiПодборка курсов по поисковой оптимизации (seo)116 курсов • 30 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→
Три робота OpenAI и за что отвечает каждый
Путаница здесь стоит людям видимости, поэтому разложим по полочкам. У OpenAI три основных робота, и они делают разные вещи.
| Робот | Что делает | Что будет, если закрыть |
|---|---|---|
| GPTBot | Собирает тексты для обучения будущих моделей | Ваш контент не попадёт в обучение. На показ в ответах не влияет |
| OAI-SearchBot | Обходит сайты и наполняет поисковый индекс | Сайт пропадает из ответов ChatGPT. Это то, что вы точно не хотите закрывать |
| ChatGPT-User | Открывает страницу, когда пользователь сам дал ссылку в чате | Человек не сможет попросить ChatGPT прочитать вашу страницу |
Отсюда стандартное решение, которое подходит большинству: GPTBot закрыть, если тексты в обучение отдавать не хочется, OAI-SearchBot и ChatGPT-User оставить открытыми. Одно другому не мешает, это независимые настройки.
Ошибка, которую мы видим чаще всего, выглядит так. Владелец сайта читает новость «нейросети воруют контент», идёт в robots.txt и закрывает всё, что похоже на OpenAI, одной строкой по маске. Через полгода он удивляется, почему ChatGPT его не упоминает, и покупает GEO-продвижение у агентства. Хотя починить нужно было одну строчку, которую он сам туда и вписал.
Как проверить, ходит ли робот OpenAI к вам
Это делается за десять минут и не требует программиста. Нужен доступ к журналу обращений к сайту, то есть файлу, куда сервер записывает каждый запрос. У хостинга он обычно лежит в разделе «Логи» или доступен по SSH как access.log.
Шаг 1. Найдите в логе строки с нужным именем. Если есть доступ к консоли:
grep -c "OAI-SearchBot" access.log
Команда посчитает, сколько раз робот приходил. Ноль означает одно из двух: либо он к вам не заходит, либо вы смотрите слишком короткий отрезок времени. Возьмите хотя бы неделю.
Шаг 2. Посмотрите, что сервер ему отвечал. В каждой строке лога есть трёхзначный код: 200 значит «страница отдана», 301 «перенаправление», 403 «доступ запрещён», 404 «страница не найдена», 5xx «сервер сломался». Массовые 403 означают, что робота режет защита от ботов или файрвол, и это самая частая причина невидимости.
Шаг 3. Откройте свой robots.txt (он лежит по адресу «ваш сайт/robots.txt») и убедитесь, что там нет запрета для OAI-SearchBot. Разрешающий блок выглядит так:
User-agent: OAI-SearchBot
Allow: /
OpenAI предупреждает, что изменения в robots.txt подхватываются примерно за сутки, так что мгновенного эффекта не ждите.
Шаг 4. Проверьте, какие разделы робот обходит. Если он ходит только по главной и не спускается в каталог, значит у вас беда с внутренними ссылками или картой сайта — лечится это тем же способом, что и медленная индексация в обычном поиске, мы разбирали его в инструкции про переобход страниц в Яндекс Вебмастере. У нас, для сравнения, треть обхода уходит в каталог курсов и почти четверть в блог, то есть робот видит структуру и идёт по ней.
Канал основателя Checkroi Вани БуявцаЗабирайте промпты и обучение по нейросетям в моём Телеграм-каналеБольше 3 700 человек уже применяют Claude Code, ChatGPT и другие нейросети в работе, учёбе, бизнесе и жизниПерейти в каналКак отличить настоящего робота от подделки
Имя робота — это просто строчка, которую отправитель запроса пишет о себе сам. Соврать в ней может кто угодно, и врут постоянно.
Наш случай: запросы к /rclone.conf, /docker-compose.yaml и /service_account.json пришли с именем OAI-SearchBot. Все три файла составляют типичную добычу взломщика: в них лежат доступы к облачным хранилищам и сервисам. Никакой поисковый робот такое не запрашивает.
Проверка заняла минуту. OpenAI публикует список своих IP-адресов, он лежит по адресу openai.com/searchbot.json и открывается прямо в браузере. Настоящие обращения к нам шли с адресов вида 74.7.*, и они в этом списке есть. А подозрительные запросы пришли с адреса 34.55.174.237, который по базе владельцев принадлежит Google и в списке OpenAI не значится.
Правило. Имени робота верить нельзя, адресу можно. Списки IP публикуют и OpenAI, и Google, и Anthropic: сверка с ними занимает пару минут и сразу отсекает самозванцев.
Попутно нашлась ещё одна деталь, подтверждающая, что OpenAI работает на своём железе. Компания публикует и адреса в облаке Microsoft, и собственный блок. За сутки к нам не пришло ни одного запроса с микрософтовских адресов: все 882 честных обращения были со своих. Свой индекс наполняется со своей инфраструктуры.
И третья мелочь из той же серии. Девять запросов пришли с именем, в которое вставлена пометка robots.txt. Так OpenAI помечает отдельный заход именно за файлом правил, об этом написано в документации OpenAI по роботам, и в логах это видно живьём.
Что делать с сайтом: восемь шагов
Собрали то, что влияет на попадание в ответы. Первые три пункта закрывают доступ, остальные — про содержимое.
1. Разрешите OAI-SearchBot в robots.txt. Проверьте, что нет запрета ни явного, ни по маске. Заодно посмотрите, не блокирует ли робота защита от ботов на стороне хостинга или CDN, — она часто режет тише и незаметнее.
2. Отдайте карту сайта. Обычный sitemap.xml, тот же, что для Яндекса и Google. Отдельной карты «для нейросетей» не существует, чего бы вам ни продавали.
3. Проверьте, что контент виден без JavaScript. Если текст подгружается скриптами уже в браузере, робот рискует увидеть пустую страницу. Простая проверка: отключите JavaScript в браузере и откройте свою страницу.
4. Ставьте ответ в начало. Есть наблюдение, которое мы сами не проверяли, но оно многое объясняет: в карточку источника попадает первый фрагмент видимого текста страницы, а не то, что вы написали в meta description. Если сразу после заголовка у вас идёт меню, хлебные крошки и баннер про куки — в описание уедут они.
5. Пишите так, чтобы фрагмент можно было вынуть. Один вопрос, один блок с подзаголовком и прямым ответом в первых двух предложениях. Нейросети разбирают страницу на куски и цитируют кусок, а не всю статью целиком.
CheckroiПодборка курсов по Нейросетям898 курсов • 62 школыСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→
6. Добавьте разметку. Schema.org для статей, товаров и вопросов-ответов помогает машине понять, что здесь вообще написано. Это не волшебная кнопка, но стоит недорого.
7. Работайте над упоминаниями за пределами сайта. Индекс собирает весь веб, а не только вас. Если про ваш продукт пишут на профильных площадках, шанс попасть в ответ растёт. Здесь работают те же сигналы опыта и авторитетности, что и в обычном поиске, мы разбирали их в статье про E-E-A-T.
8. Следите за свежестью. Индекс перестраивается регулярно, и дата публикации хранится в карточке вместе с текстом. Статья с прошлогодними цифрами проигрывает обновлённой при прочих равных.
Если формулировки вроде «поисковый интент» или «канонический адрес» вам пока ни о чём не говорят, загляните в наш словарь SEO-терминов — там всё разложено по-человечески.
Что делать, если робот к вам вообще не приходит
Нулевой результат в логах случается чаще, чем кажется, и почти всегда чинится на своей стороне. Разберём по частоте причин.
Сайт закрыт целиком или по маске. Загляните в robots.txt и поищите блоки, которые запрещают всё подряд неизвестным роботам. Формулировка User-agent: * с запретом ниже отсекает и OAI-SearchBot тоже.
Робота режет защита от ботов. Многие хостинги и сервисы ускорения включают её по умолчанию, а нейросетевые краулеры попадают в чёрные списки быстрее поисковых, потому что они моложе и репутации у них ещё нет. Признак: в логах есть запросы, но все с кодом 403. Лечится добавлением в исключения на стороне панели управления.
Сайт слишком медленный. Робот ограничивает себя сам, и если страницы отдаются по несколько секунд, обход сжимается до нескольких адресов в день. У нас 902 запроса на 11 тысяч страниц: это выборка, а не полный обход, и она была бы шире на более быстром сайте.
На сайт неоткуда прийти. Индекс собирается по ссылкам, поэтому молодой проект без внешних упоминаний робот может просто не найти. Здесь работает обычная схема: карта сайта, упоминания на профильных площадках, живой поисковый трафик.
После правок закладывайте на проверку неделю. Сутки уходят на обновление правил, дальше нужно время на сам обход.
А что с Яндексом и Алисой
Российским сайтам полезно держать в голове, что ChatGPT здесь не единственный и часто не главный источник таких переходов. В нашей таблице выше YandexBot сделал 3545 запросов, вчетверо больше поискового робота OpenAI, а генеративные ответы Алисы собирают аудиторию, которой ChatGPT в России недоступен без ухищрений.
Хорошая новость в том, что делать ничего отдельного не нужно. Требования у всех систем совпадают почти дословно: пускать роботов, отдавать содержимое без скриптов, отвечать на вопрос в первых предложениях, подтверждать цифры источниками. Разница только в списках имён роботов, которые надо разрешить, и в том, где смотреть результат.
Поэтому осмысленная стратегия выглядит скучно: сделать нормальный сайт с нормальными текстами и не закрывать его от тех, кто хочет их прочитать. Всё остальное — надстройки над этим.
Сколько людей приходит из ChatGPT на самом деле
Про попадание в ответы пишут все, а про то, что происходит после, почти никто. У нас есть и эта цифра, потому что переходы из чата видны в логах отдельной строкой.
Когда человек в разговоре с ChatGPT нажимает на ссылку или просит открыть конкретную страницу, к сайту приходит третий робот OpenAI, ChatGPT-User. За те же сутки он постучался 316 раз по 231 разному адресу. Соотношение с обходом получается примерно один к трём: на каждые три страницы, которые робот забрал в индекс, приходится один живой заход из чата.
Интереснее, куда именно эти заходы приходят. Первое место с большим отрывом занимает главная, а дальше почти сплошным списком идут статьи про зарплаты: сколько получает аналитик, архитектор, бизнес-аналитик, разработчик. Ни одной случайной страницы в верхушке нет.
Вывод из этого простой и полезный. Из чата приходят с вопросами, на которые нужен конкретный ответ с цифрой, а не с общими темами. Человек спросил, сколько зарабатывает аналитик, получил пересказ и пошёл смотреть, откуда взялась сумма. Материалы формата «сколько стоит», «сколько занимает», «чем отличается» собирают такие переходы, обзорные размышления не собирают почти ничего.
Проверьте у себя. Отфильтруйте логи по
ChatGPT-Userза месяц и посмотрите список адресов. Это готовый список тем, по которым вас уже цитируют, и хорошая подсказка, что писать дальше.
Чего добиться нельзя и кто вам это продаёт
Рынок GEO-услуг вырос быстрее, чем понимание, как эта штука устроена. Несколько честных ограничений, о которых стоит знать до того, как подписывать договор.
Гарантировать попадание в ответы невозможно. Нет ни позиций, ни выдачи, ни места, которое можно занять. Один и тот же вопрос, заданный дважды, даёт разные наборы источников. Можно повысить вероятность, нельзя пообещать результат.
Списка факторов ранжирования не существует. OpenAI его не публикует. Всё, что вы читаете на эту тему, включая эту статью, это наблюдения со стороны, а не документация.
Отдельный «контент для нейросетей» писать не нужно. Нет никакой второй версии сайта, которую видят только роботы. Есть один текст, и он либо отвечает на вопрос человека, либо нет.
Измерять эффект только по переходам плохая идея. Ссылку из ответа кликает малая доля людей: остальные читают пересказ и уходят с готовым мнением. Смотрите ещё и на то, упоминают ли вас в самих ответах на важные для вас вопросы. Проверять можно руками, задавая ChatGPT одни и те же вопросы раз в месяц и записывая, кого он назвал.
Та же логика работает и в соседних сервисах: у Perplexity своя механика отбора источников, мы разбирали её в гайде по Perplexity.
Откуда взяты данные
Честно разделим, что мы проверили сами, а что взяли у других.
Наше: все цифры по роботам, разделам, кодам ответов, адресам и подделкам сняты с журнала обращений checkroi.ru за 7 сентября 2026 года и сверены со списками адресов, которые публикует OpenAI. Это одни сутки одного сайта: на других проектах пропорции будут другими, а порядок величин, скорее всего, похожим.
Чужое: устройство внутреннего индекса, его название, состав и механика отбора описаны в исследовании сервиса Peec AI. Держим в голове, что это компания, которая продаёт мониторинг видимости в нейросетях, то есть заинтересована в громкости темы. Мы поэтому и полезли в собственные логи: поведение краулера, которое мы увидели, с их выводами сходится, но проверить их наблюдения за потоком данных изнутри чужого продукта мы не можем.
Наблюдение про первые двести символов страницы принадлежит независимому исследователю и мы его самостоятельно не подтверждали, поэтому и подаём как гипотезу, а не как факт.
Где научиться продвижению в поиске и нейросетях
Отдельной профессии «GEO-специалист» пока нет, и вряд ли появится: это часть работы с поиском, просто добавились новые каналы. Базу дают обычные курсы по поисковой оптимизации, там учат разбирать логи, работать с robots.txt и картами сайта, собирать семантику и писать под запрос. Всё это ровно то, что понадобилось нам, чтобы разобрать историю выше.
| Курс | Школа | Стоимость со скидкой | В рассрочку | Длительность | Обзор курса от Checkroi |
|---|---|---|---|---|---|
| Performance-маркетинг в SEO Перейти на сайт курса |  Skillbox | 54 600 ₽ | 4550 ₽/мес. | 4 месяца | Обзор курса |
| Профессия «SEO-специалист с нуля до PRO» Перейти на сайт курса | Skillbox | 100 733 ₽ | 4579 ₽/мес. | 12 месяцев | Обзор курса |
| SEO-специалист PRO Перейти на сайт курса |  Нетология | 116 820 ₽ | 4867 ₽/мес. | 4 месяца | Обзор курса |
| SEO-специалист: базовый курс Перейти на сайт курса | Нетология | 44 700 ₽ | 2483 ₽/мес. | 4 месяца | Обзор курса |
| SEO-специалист: курс от AMDG Перейти на сайт курса | Skillbox | 55 245 ₽ | 4597 ₽/мес. | 4 месяца | Обзор курса |
| SEO-специалист Перейти на сайт курса |  Академия Синергия | 88 116 ₽ | 3672 ₽/мес. | 6 месяцев | Обзор курса |
| SEO-специалист Перейти на сайт курса | Нетология | 101 800 ₽ | 3084 ₽/мес. | 12 месяцев | Обзор курса |
| Профессия «SEO-специалист» Перейти на сайт курса | Skillbox | Бесплатно | 3320 ₽/мес. | 12 месяцев | Обзор курса |
| SEO-продвижение Перейти на сайт курса |  DSA | 27 500 ₽ | 2291 ₽/мес. | 1 месяц | Обзор курса |
| Факультет SEO-продвижения Перейти на сайт курса |  GeekBrains | 104 700 ₽ | 2908 ₽/мес. | 12 месяцев | Обзор курса |
Больше программ — в полном каталоге курсов по поисковой оптимизации (seo)
Если тема нейросетей интересует шире, чем поиск, посмотрите наши материалы про промпт-инжиниринг для ChatGPT и типы поисковых запросов: вторая пригодится, чтобы понимать, на какие вопросы вообще стоит отвечать контентом.
