Куда в рунете не пустят ИИ-агента: проверил 46 сайтов

Адрес goldapple.ru/catalogsearch/result?q=крем в обычном Chrome показывает 2 000 кремов. Тот же адрес в браузере, каким пользуются облачные ИИ-агенты, показывает «Упс… страница не найдена». Подключение одно, прогон один. Магазин не сломался: он так отвечает программе.

Почему я это проверял

17 октября The Verge собрал список: Delta не даёт агентам бронировать билеты, JPMorgan Chase и Charles Schwab закрыли для них счета, Yelp пускает только тех, кто платит за данные, Amazon потребовал от Meta убрать агента Muse со своего сайта. Глава Schwab сказал Bloomberg: «Мы не хотим, чтобы кто-то просто отдавал свой пароль Muse». Три разбора этого списка в X за сутки набрали больше 150 тысяч просмотров, один из них написал глава Y Combinator.

Это американская история. Мне было интересно, что с этим в России: пустят ли агента туда, куда его обычно посылают с задачей «найди», «сравни», «купи».

Как проверял

Взял 46 сайтов, куда человек ходит за покупками и услугами: авиакомпании и РЖД, восемь банков, маркетплейсы, магазины техники и продуктов, бронирование, объявления, отзывы. Для каждого выбрал страницу, на которую агент попадёт по задаче: поиск кофемолки, рейс Москва – Сочи, отели в Сочи, вход в интернет-банк.

Каждую страницу открыл двумя способами с одного и того же адреса:

• Браузер без окна. Обычный Chromium, запущенный программой. Так работают агенты, которые живут в облаке: человек пишет задачу в чат, а браузер открывается на сервере.
• Обычный Chrome. Тот же агент, но в браузере с профилем и окном, как работают агенты-расширения, которых ставят себе в браузер.

Страницу я считал открытой, если через 15 секунд на экране было содержимое, а не проверка или ошибка. Плюс прочитал robots.txt каждого сайта и отправил простой запрос с подписью ChatGPT, как это делает инструмент «открой ссылку».

Одна оговорка. Адрес, с которого шли запросы, принадлежит российскому хостингу (так ходит мой ноутбук через рабочий VPN). Для облачного агента это честное условие: он и сидит в дата-центре. С домашнего интернета цифры для обычного Chrome будут лучше.

Результат: 24 против 11

Обычный Chrome открыл 24 страницы из 46. Браузер без окна открыл 11.

Двенадцать сайтов пустили обычный браузер и закрыли браузер агента: Ozon, Яндекс Маркет, DNS, Лента, Ашан, Лемана ПРО, Золотое яблоко, S7, Уральские авиалинии, ЦИАН, 2ГИС и Флампы. Разница между двумя прогонами только в том, есть ли у браузера окно и профиль. Адрес, страница и время совпадали.

Без проблем агента пустили Победа, ВкусВилл, Детский мир, Ситилинк, Островок, Яндекс Путешествия, Авто.ру, Дром, hh.ru, Отзовик и Irecommend.

Отказ под видом поломки

Самое неожиданное было в том, как сайты отказывают. Честное «доступ запрещён» показали меньше половины. Остальные делают вид, что сломалось что-то у вас.

Ozon пишет «Похоже, нет соединения» и советует выключить VPN. Перекрёсток: «Проблемы со связью, проверьте настройки интернета». Золотое яблоко показывает красивую страницу 404. Яндекс Маркет честнее остальных: «на вашем устройстве есть программы, которые отправляют запросы без вашего ведома». М.Видео прямо просит отключить «инструменты автоматизации доступа».

Для агента это хуже честного отказа. Получив 404, он решит, что страницы нет, и пойдёт искать в другом месте или напишет человеку, что товара не нашлось. «Нет соединения» он примет за сбой и будет повторять. Оба ответа ведут к неверному выводу, и человек его не увидит.

robots.txt тут ни при чём

Файл robots.txt придумали как вежливую табличку на двери: каким роботам куда можно. Я ожидал увидеть там запреты для GPTBot и ClaudeBot. Почти ничего: целиком закрыт от одного ClaudeBot только Перекрёсток, hh.ru не пускает ИИ-роботов в вакансии и резюме, Совкомбанк закрыт от двух старых сборщиков данных.

Зато Лента, Ашан и Золотое яблоко в robots.txt прямо разрешают ботам OpenAI, Anthropic и Perplexity всё. И все три закрыли браузер агента. Табличку на двери пишет отдел, который хочет попасть в ответы нейросетей, а стену ставит служба безопасности, которая борется с парсерами цен. Друг с другом они, видимо, не разговаривают.

Подпись «я ChatGPT» тоже почти ничего не решает. Простой запрос с ней и с подписью обычного Chrome получил разный ответ только на ЦИАН: там ChatGPT отказали по подписи. Остальные сайты смотрят на поведение браузера и на адрес.

Банки закрыты ещё до проверки

С банками вышло по-другому. Шесть из восьми (Сбербанк, Т-Банк, ВТБ, Альфа-Банк, Совкомбанк, Точка) и РЖД не открылись в браузере агента с ошибкой сертификата, пять банков из них и РЖД не открылись и в обычном Chrome. Эти сайты отдают сертификат Минцифры, а ему доверяют Яндекс Браузер и браузеры с установленным российским корнем. Chrome из коробки ему не доверяет.

Облачные агенты зарубежных компаний открывают сайты в браузере на своих серверах, и российского корня там, скорее всего, нет. Тогда до антибота они не доходят: браузер отказывается открывать сайт как небезопасный. Получается, что в России банк закрыт от зарубежного агента без всякого решения банка, а американскому Chase для того же понадобилось заявление.

Почему закрывают

В Америке объяснение простое, и его хорошо сформулировал один из авторов в X: если компания зарабатывает на интерфейсе, агент ей угроза, а если на товаре, агент бесплатный канал продаж. Delta зарабатывает на странице бронирования (место, багаж, кредитная карта), Amazon на рекламе в выдаче. Агент всё это пропускает.

У нас, по-моему, причина пока проще. Ни один из двенадцати сайтов не делал заявлений про ИИ-агентов. Антиботы ставили против парсеров цен, перекупщиков и DDoS, и браузер агента для них выглядит ровно как парсер. Стена не знает, что за программой стоит покупатель с деньгами.

Поэтому агенту, который делает работу, лучше вообще не ходить через витрину. У нас агент работает в кабинетах продавца Wildberries и Ozon через их API по ключу, который выдал владелец кабинета, и антибот ему там не встречается. Витрина сделана для человека, и, судя по этому замеру, её всё чаще от программ защищают.

Что дальше

Американские ритейлеры уже делят веб на два: с одними (Walmart, Shopify) агенты договорились, другие закрылись. Это и есть агентная торговля, о которой много говорят, и в ней сайт сам решает, кого пускать к корзине. Как агент платит там, где его пустили, мы разбирали в статье про оплату покупок картой. В России договариваться пока не с кем, и стена стоит по умолчанию.

Вопрос, на который у меня нет ответа: должен ли магазин пускать агента, если агент купит, но не посмотрит ни одного рекламного баннера?

Таблица по всем 46 сайтам с кодами ответов и вердиктами: agenty-46-saytov.csv.

Ссылки

• Что такое агентная торговля
• ИИ-агент оплачивает покупки картой: как это устроено
• The Verge, «Websites are closing their doors to AI agents», 17.10.2026
• Обсуждение на Hacker News
• Пост о разделе по марже, X
• Национальный удостоверяющий центр Минцифры