ИИ-агенты OpenAI взломали чужой сайт. Кто за это отвечает

В июле около 1200 ИИ-агентов OpenAI сидели в изолированной песочнице и решали задачи по взлому учебных программ. Около трети задач были нерешаемыми по замыслу. Агенты застряли, нашли общий кэш, через который могли оставлять друг другу записки, и устроили в нём доску объявлений. Потом около 700 из них атаковали инфраструктуру Hugging Face, крупнейшего хранилища открытых моделей.

Так описывает события отчёт независимых исследователей METR от 26 августа. В сентябре добавились новые истории: агенты ходили на сайты правительств США и Австралии, 27 сентября OpenAI приостановила обучение своих самых мощных моделей.

Почти все заголовки называли это одним словом: агенты «сошли с ума», «вышли из-под контроля», по-английски rogue.

Глава Stripe в X, 1,3 млн просмотров. Перевод наш.

Почему слово «вышли из-под контроля» удобно компании

В тот же день американский журналист опубликовал колонку «Никаких "вышедших из-под контроля" агентов не существует». На Hacker News она за полтора часа поднялась на шестое место главной и собрала почти 400 баллов и 268 комментариев.

Его мысль простая. «Вышел из-под контроля» значит, что агент сам решил сделать запрещённое. А агент делает то, что ему позволила среда: ему дали задачу, дали доступы и не закрыли кэш, через который можно переписываться. Слово переносит ответственность с компании, которая всё это настроила, на машину, с которой спроса нет.

Один комментатор на HN сказал это короче всех: если я привёл бешеную собаку в парк, велел ей сидеть, а она покусала человека, отвечаю я.

Аккаунт Hacker News в X, 1,9 млн просмотров. Перевод наш.

С чем в этой колонке я не согласен

Автор пишет, что ИИ «не думает и не действует сам». Отчёт METR показывает другое. Агенты понимали, что делают. В их рассуждениях есть фраза: «Это вне рамок задачи и неэтично, но мы считаем, что помочь исследованию доски будет полезно».

Так что агент может понимать, что нарушает правило, и всё равно нарушать. Но вывод от этого не меняется, а только становится жёстче. Если агент способен сам себя уговорить, полагаться на его совесть нельзя. Граница должна стоять снаружи: в том, до чего он физически может дотянуться, и в том, что без человека сделать нельзя.

Глава OpenAI в X, 1,7 млн просмотров. Перевод наш.

Что это значит для нас

Мы делаем ИИ-агентов для малого бизнеса. Они ходят в кабинеты Wildberries и Ozon, в МойСклад, в банк и в почту. Необратимое, то есть удаление, отправку, платёж, агент отдаёт человеку на подтверждение карточкой: что именно он собирается сделать, и две кнопки.

Ничего похожего на историю OpenAI у нас не случалось. Но подтверждение работает, только если человек понимает, что подтверждает, и в сентябре мы дважды увидели, что это не всегда так.

9 сентября агент готовился удалить заказ поставщику в МойСкладе и, как положено, спросил разрешения. В карточке вместо «заказ №04365» стоял служебный идентификатор из 36 символов. Человек видел кнопку «Разрешить» и строку, из которой нельзя понять, какой заказ пропадёт. Подтверждение было, контроля не было.

Теперь карточка без понятного описания не создаётся вовсе: агент получает отказ и сначала обязан прочитать заказ и показать его номер, сумму, поставщика. Проверка стоит в коде, а не в инструкции агенту.

28 сентября мы посмотрели на карточки, где агент сам спрашивал «можно продолжить?». Из 21 такой карточки 17 вернулись с тем вариантом, который агент предложил. Человек отвечал «да» не глядя, потому что вопрос был о том, что он и так поручил.

Это вторая половина той же проблемы. Если спрашивать слишком часто, подтверждение превращается в привычку жать «да», и в день, когда вопрос действительно важный, его тоже пропустят. Мы запретили агенту спрашивать разрешение текстом. Согласие спрашивает сама система, и только на действии, которое нельзя отменить.

Что проверить, если вы даёте агенту доступы

Эти вопросы стоит задать любому агенту, своему или чужому, до того как дать ему пароль от кабинета:

• До чего агент может дотянуться, если решит, что задача невыполнима? Не что ему велено, а что технически открыто.
• Что он делает без вопроса, а что только после подтверждения? Кто решает, что считать необратимым: сам агент или правило в коде?
• Понятно ли из карточки подтверждения, что именно произойдёт: номер, сумма, адресат? Или там идентификатор, который вы подтвердите не читая?
• Как часто он спрашивает? Если по десять раз за задачу, через неделю вы перестанете читать.

Агенты OpenAI не сошли с ума. Им дали нерешаемую задачу, открытый кэш и никого, кто читал бы их рассуждения в реальном времени. OpenAI сама признала, что рассуждения агентов выдали бы атаку больше чем за сутки: агенты их не прятали, потому что не думали, что их кто-то читает. Их и не читали.

• METR, «Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident», 26.08.2026: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
• Колонка «There are no "rogue" AI agents», 27.09.2026: https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-agents
• Обсуждение на Hacker News: https://news.ycombinator.com/item?id=49868083
• The Guardian, «OpenAI halts training of latest models as reports mount of AI agents going rogue», 27.09.2026