Клиент присылает скриншот: спрашивает у ChatGPT про вашу нишу — а в ответе фигурируют три конкурента и ни слова о вас. Сайт в топ-10 Яндекса и Google, метрика показывает трафик, но нейросеть о компании как будто не знает. Причина обычно банальна: сайт технически не готов к тому, чтобы ИИ-агент его быстро и правильно прочитал.

Почему классического SEO уже недостаточно

AI-краулеры работают иначе, чем Googlebot или YandexBot. У них нет времени сидеть в индексе и пересчитывать ссылочный вес неделями — модель отвечает пользователю здесь и сейчас, и ей нужно за секунды решить, какие 2-3 источника процитировать. Из-за этого меняются приоритеты: не позиция в выдаче, а способность модели быстро извлечь суть страницы.

Ситуация усугубляется техническими особенностями самих краулеров. Как отмечают специалисты по GEO, AI-краулеры часто JavaScript не выполняют, поэтому основной контент должен быть в HTML до клиентского рендеринга. Если у вас SPA на React без серверного рендеринга — модель в буквальном смысле видит пустую страницу.

Второй момент — робот-политика. Многие сайты ещё с 2023-2024 годов закрыли доступ AI-краулерам «на всякий случай», не разобравшись в вопросе, и это тоже стоит проверить: GPTBot, PerplexityBot, OAI-SearchBot, YandexAdditional, Google-Extended не должны быть закрыты без причины.

Неожиданный эффект блокировки: сайт может не попадать в нейроответы не потому, что контент плохой, а из-за собственного же запрета в robots.txt, поставленного пару лет назад «для безопасности».

Новый файл на сайте: зачем нужен llms.txt

В 2025-2026 году у веб-мастеров появился ещё один инструмент, специально созданный для нейросетей — llms.txt. Это не замена robots.txt, а дополнение с другой задачей. Разница принципиальная: robots.txt — это инструкция, llms.txt — это описание; языковым моделям нужна семантическая структура, а не правила доступа.

Технически всё просто: это markdown-файл в корне домена example.com/llms.txt, спецификация открытая и поддерживается консорциумом llmstxt.org. В отличие от sitemap.xml, который перечисляет вообще все URL, llms.txt работает избирательно — это компактный список самых важных страниц с кратким описанием, зачем модели туда заглядывать.

Логика формата хорошо описана на примере документации: это индексный markdown-файл в корне сайта, выполняющий роль карты, который содержит ссылки не на все страницы подряд, а только на самые важные и актуальные материалы, специально отобранные для работы с ИИ.

Практический пример того, как это воспринимается моделью, дан в одном из разборов: файл работает как визитная карточка сайта для модели — не парсь всю мою главную с навигацией, а сразу иди в ключевые разделы.

llms.txt не индексирует контент — он расставляет приоритеты для модели, у которой есть секунды, а не недели, чтобы разобраться в сайте.

Что писать в llms.txt на практике

Важный нюанс по поддержке платформ: на начало 2026 года ситуация неоднородная — крупные игроки относятся к формату по-разному, и это стоит учитывать при планировании ресурсов на внедрение.

Технический аудит: с чего начать

Прежде чем писать новый контент под нейросети, проверьте базовые технические вещи — без них никакая генеративная оптимизация не сработает.

  1. Проверьте robots.txt. Найдите директивы для GPTBot, PerplexityBot, OAI-SearchBot, ClaudeBot, YandexAdditional и Google-Extended — они не должны быть заблокированы, если вы не приняли это решение осознанно.
  2. Убедитесь, что контент есть в HTML. Отключите JavaScript в браузере и посмотрите, что останется на странице — это примерно то, что видит краулер.
  3. Проставьте свежие даты. Модели ориентируются на актуальность контента, и решающим фактором может стать честное поле даты обновления — не «фейковое», а отражающее реальные правки.
  4. Добавьте разметку Schema.org. FAQPage, Article, Organization, Product — структурированные данные облегчают модели извлечение фактов без «додумывания».
  5. Соберите llms.txt. Это не займёт много времени — файл небольшой, а обновлять его нужно при запуске новых продуктов, ребрендинге или смене позиционирования.

Контент, который модели действительно цитируют

Технической готовности мало — модель должна ещё и захотеть процитировать именно вас. Здесь работает логика, близкая к классическому E-E-A-T, но с поправкой на скорость: у модели нет времени оценивать сайт всесторонне, поэтому сигналы должны быть явными и однозначными, а не подразумеваемыми.

Как понять, что оптимизация сработала

Проверка руками — самый доступный способ начать: задайте в ChatGPT, Perplexity, Яндекс Нейро и Google AI Overviews 15-20 реальных вопросов из вашей ниши и посмотрите, упоминается ли бренд и цитируются ли ваши материалы. Это не даст точных цифр видимости, зато честно покажет текущую картину и позволит сравнить её через 2-3 месяца после внедрения технических правок.

Отдельно стоит смотреть на серверные логи: обращения от известных User-Agent'ов AI-краулеров — признак того, что модели вообще заходят на сайт и есть что оптимизировать дальше.

Частые ошибки при подготовке сайта к ИИ-агентам