**Агент собрал отчёт по остаткам в понедельник, и всё сошлось. Во вторник, на тех же данных, цифры другие.** Владелец обычно называет это «нейросеть галлюцинирует», но это другой сбой, и он не редкость: по замеру IBM Research от 15 сентября сильный агент со средней точностью 77% справляется во всех прогонах подряд только с 53% задач. Почти каждая четвёртая задача решается через раз, и более крупная модель этого не лечит. Ниже разбираем, чем галлюцинация отличается от нестабильности, откуда берётся разрыв в 24 пункта, как проверить ответ нейросети за минуты и как повторяемая работа закреплена у нас.

## Что такое галлюцинация нейросети, коротко

Галлюцинация — это ответ, который выглядит уверенно и правдоподобно, но не опирается ни на что. Нейросеть не «вспоминает» факт, а достраивает текст так, чтобы он был похож на правильный. Номер закона, которого нет, ссылка на несуществующую статью, сумма долга контрагента, взятая не из базы, а «по ощущению» — всё это галлюцинации.

Причина не в глупости модели. Языковая модель на каждом шаге выбирает следующее слово из распределения вероятностей. Когда один вариант сильно вероятнее остальных, выбор стабилен. Когда несколько вариантов почти равны, модель выбирает почти наугад, и получается правдоподобный текст, за которым нет данных.

Для чат-бота это неприятно. Для агента, который сам ходит в 1С и в кабинет маркетплейса и делает работу без вас, это вопрос, можно ли вообще доверить ему задачу.

## Нейросеть врёт или ошибается: это разные сбои

Владелец, который видит неверную цифру, обычно говорит «нейросеть врёт». Полезнее различать три случая, потому что лечатся они по-разному.

| Что случилось | Как выглядит | Что помогает |
|---|---|---|
| Галлюцинация | Уверенный ответ без источника: цифра, дата, название, которых нет в данных | Заставить агента брать данные из системы, а не из головы, и показывать, откуда взял |
| Ошибка на данных | Агент честно посчитал, но по неверным или неполным данным: не та выгрузка, не тот период | Проверять вход, а не выход: какой отчёт открыл, за какие даты |
| Нестабильность | Сегодня верно, завтра неверно, задача и данные те же | Закрепить путь: повторяемую часть отдать скрипту, оставить модели только суждение |

Первые два случая обсуждают давно. Третий почти не обсуждают, хотя для регулярной работы он самый опасный. О нём и пойдёт речь.

## Точность 77% скрывает ненадёжность в 24 пункта

15 сентября 2026 года исследователи IBM опубликовали работу о метрике, которую почти никто не публикует. Обычно качество агента измеряют так: прогоняют набор задач несколько раз и считают среднюю долю успехов. Это число и стоит на всех лидербордах. Оно отвечает на вопрос «насколько хорош агент в среднем».

Владельца бизнеса интересует другой вопрос: если поставить эту же задачу ещё раз, агент справится снова? Для этого нужна другая метрика: доля задач, которые агент решил во всех прогонах подряд.

Цифры IBM для типичного агента на модели GPT-4.1 и наборе задач AppWorld:

| Метрика | Значение |
|---|---|
| Средняя доля успехов по пяти прогонам | 77,4% |
| Доля задач, решённых во всех пяти прогонах | 53,0% |
| Разрыв между ними | 24,4 пункта |
| Разрыв на сложных задачах | около 30 пунктов |

То есть почти четверть задач агент решает иногда. Задача не меняется, данные не меняются, а результат меняется. Авторы называют это разрывом надёжности и отдельно подчёркивают: он не лечится более крупной моделью. Способность и стабильность — разные оси, агент может быть умным и нестабильным одновременно.

## Почему агент идёт другой дорогой

Механизм тот же, что у галлюцинации, только растянутый на десятки шагов. Каждое решение агента — какой отчёт открыть, какой фильтр поставить, повторить ли запрос после ошибки — это выбор из распределения вероятностей. Где распределение острое, выбор один и тот же из раза в раз. Где плоское, два варианта почти равны, и достаточно крошечного шума, чтобы победил другой.

Шум есть всегда: округления на видеокартах, порядок обработки запросов на сервере, мелкие различия в контексте. Для острого решения он ничего не меняет. Для плоского — переворачивает выбор. Цепочка из тридцати шагов, в каждом из которых есть небольшой шанс перевернуться, даёт большой шанс, что хотя бы один прогон пойдёт иначе. Отсюда и 24 пункта.

Важное следствие: настройка «отвечай детерминированно» не спасает. Она управляет тем, как модель выбирает из распределения, но не формой самого распределения. Плоское решение остаётся плоским.

IBM предлагает диагностику: взять один записанный прогон агента и в каждой точке решения запросить у модели несколько вариантов продолжения. Там, где варианты расходятся, и есть слабое место. Превратив такие места в письменные правила для агента, авторы сократили разрыв с 24,4 до 12,0 пунктов без потери средней точности. Половина проблемы снята текстом, а не новой моделью.

## Что это значит для регулярной задачи

Для разовой задачи нестабильность почти не видна: получили ответ, проверили, приняли. Для задачи, которая идёт каждый понедельник, всё иначе. Проверять каждый прогон руками никто не будет, иначе зачем агент. А значит, тот прогон, который пошёл другой дорогой, останется незамеченным до момента, когда на его основе примут решение.

Практический вывод: регулярная задача не должна каждый раз заново «придумываться» моделью. В ней есть часть, которая повторяется дословно: открыть отчёт, выгрузить за период, посчитать по формуле. И есть часть, где нужно суждение: что делать с аномалией, кому написать, стоит ли останавливать закупку. Первую часть нужно закрепить, вторую оставить модели.

## Как проверить ответ нейросети до того, как поверить

Четыре проверки, которые занимают минуты и ловят все три вида сбоев.

1. **Спросите, откуда цифра.** Хороший агент называет источник: отчёт, период, строку. Ответ «по моим расчётам» без источника — признак галлюцинации.
2. **Сверьте одну цифру с первоисточником.** Не весь отчёт, а одну строку: остаток по одному товару, долг одного контрагента. Если она не сходится, не сходится и остальное.
3. **Поставьте задачу три раза подряд.** Сравнивайте не итог, а путь: какие отчёты открыл, какие фильтры поставил. Три разных пути к одному числу — это удача, а не надёжность.
4. **Сломайте вход.** Дайте выгрузку не за тот период и посмотрите, заметит ли агент. Агент, который не спотыкается на заведомо плохих данных, не спотыкается и на случайно плохих.

Третья проверка и есть метрика IBM, только руками. Её стоит сделать один раз для каждой задачи, которую вы собираетесь отдать агенту насовсем.

## Как это устроено у нас

Мы пришли к тем же выводам раньше, чем прочитали работу IBM, потому что упирались в ту же стену.

**Повторяемая часть закреплена скриптом.** Когда задача ставится на расписание, агент сначала пишет скрипт для той части, которая повторяется дословно, и задача привязывается к нему по отпечатку. Каждый понедельник выполняется тот же код, а не новая догадка модели. Модель получает результат скрипта и решает только то, что требует суждения.

**Изменение скрипта не проходит молча.** Если кто-то поправил скрипт после привязки, задача это заметит: отпечаток не совпадает. Здесь у нас есть чему учиться. Сегодня в таком случае прогон отказывает, и человек узнаёт об этом через часы. Codex от OpenAI в похожей ситуации показывает карточку «требуется проверка» и ждёт подтверждения, API навыков Anthropic позволяет закрепить конкретную версию и выполнять именно её. Мы разбираем оба варианта.

**Каждое действие записано.** Журнал хранит не то, что агент написал в чате, а то, что он сделал: какой отчёт открыл, какую строку изменил, какое письмо отправил. Именно по журналу и сравнивают путь трёх прогонов, о которых шла речь выше.

**Необратимое ждёт человека.** Удалить, отправить, оплатить — на такие шаги агент останавливается и показывает карточку. Нестабильный прогон, который пошёл другой дорогой, в худшем случае принесёт неверный черновик, а не отправленное письмо.

## Итог

Галлюцинация — это уверенный ответ без опоры на данные, и её ловят вопросом «откуда цифра». Но у агента, который работает регулярно, есть менее заметный сбой: сегодня верно, завтра нет, при тех же данных. По замерам IBM он затрагивает четверть задач у сильного агента и не лечится более крупной моделью.

Лечится он устройством работы: повторяемая часть закреплена кодом, суждение оставлено модели, каждое действие записано, необратимое ждёт человека. Проверить любого агента на это можно за вечер: три прогона одной задачи и сравнение путей.

## Источники

- [IBM Research, Your Agent Aced the Task. Will It Do It Again?, 15 сентября 2026](https://huggingface.co/blog/ibm-research/altk-evolve-consistency)
- [Codex (OpenAI), исходный код: проверка изменённых хуков перед запуском](https://github.com/openai/codex)
- Наши статьи: [задача на ночь](/resources/zadacha-na-noch-ii-sotrudnik-rabotaet-poka-vy-spite), [автоматизация рутинных задач](/resources/avtomatizaciya-rutinnyh-zadach), [что видит владелец, когда ИИ работает без него](/resources/chto-vidit-vladelec-kogda-ii-rabotaet-bez-nego), [harness ИИ-агента](/resources/harness-ii-agenta)