Галлюцинация — уверенный ответ без опоры на данные, и её ловят вопросом «откуда цифра». Но у агента, который работает регулярно, есть менее заметный сбой: сегодня верно, завтра нет, при тех же данных. По замерам IBM агент с точностью 77% решает во всех прогонах подряд только 53% задач, и более крупная модель это не лечит. Разбираем три вида сбоев, механизм «плоских решений», четыре проверки ответа нейросети за минуты и то, как повторяемая работа закреплена у нас.

Агент собрал отчёт по остаткам в понедельник, и всё сошлось. Во вторник, на тех же данных, цифры другие. Владелец обычно называет это «нейросеть галлюцинирует», но это другой сбой, и он не редкость: по замеру IBM Research от 15 сентября сильный агент со средней точностью 77% справляется во всех прогонах подряд только с 53% задач. Почти каждая четвёртая задача решается через раз, и более крупная модель этого не лечит. Ниже разбираем, чем галлюцинация отличается от нестабильности, откуда берётся разрыв в 24 пункта, как проверить ответ нейросети за минуты и как повторяемая работа закреплена у нас.

Что такое галлюцинация нейросети, коротко

Галлюцинация — это ответ, который выглядит уверенно и правдоподобно, но не опирается ни на что. Нейросеть не «вспоминает» факт, а достраивает текст так, чтобы он был похож на правильный. Номер закона, которого нет, ссылка на несуществующую статью, сумма долга контрагента, взятая не из базы, а «по ощущению» — всё это галлюцинации.

Причина не в глупости модели. Языковая модель на каждом шаге выбирает следующее слово из распределения вероятностей. Когда один вариант сильно вероятнее остальных, выбор стабилен. Когда несколько вариантов почти равны, модель выбирает почти наугад, и получается правдоподобный текст, за которым нет данных.

Для чат-бота это неприятно. Для агента, который сам ходит в 1С и в кабинет маркетплейса и делает работу без вас, это вопрос, можно ли вообще доверить ему задачу.

Нейросеть врёт или ошибается: это разные сбои

Владелец, который видит неверную цифру, обычно говорит «нейросеть врёт». Полезнее различать три случая, потому что лечатся они по-разному.

Что случилось	Как выглядит	Что помогает
Галлюцинация	Уверенный ответ без источника: цифра, дата, название, которых нет в данных	Заставить агента брать данные из системы, а не из головы, и показывать, откуда взял
Ошибка на данных	Агент честно посчитал, но по неверным или неполным данным: не та выгрузка, не тот период	Проверять вход, а не выход: какой отчёт открыл, за какие даты
Нестабильность	Сегодня верно, завтра неверно, задача и данные те же	Закрепить путь: повторяемую часть отдать скрипту, оставить модели только суждение

Первые два случая обсуждают давно. Третий почти не обсуждают, хотя для регулярной работы он самый опасный. О нём и пойдёт речь.

Точность 77% скрывает ненадёжность в 24 пункта

15 сентября 2026 года исследователи IBM опубликовали работу о метрике, которую почти никто не публикует. Обычно качество агента измеряют так: прогоняют набор задач несколько раз и считают среднюю долю успехов. Это число и стоит на всех лидербордах. Оно отвечает на вопрос «насколько хорош агент в среднем».

Владельца бизнеса интересует другой вопрос: если поставить эту же задачу ещё раз, агент справится снова? Для этого нужна другая метрика: доля задач, которые агент решил во всех прогонах подряд.

Цифры IBM для типичного агента на модели GPT-4.1 и наборе задач AppWorld:

Метрика	Значение
Средняя доля успехов по пяти прогонам	77,4%
Доля задач, решённых во всех пяти прогонах	53,0%
Разрыв между ними	24,4 пункта
Разрыв на сложных задачах	около 30 пунктов

То есть почти четверть задач агент решает иногда. Задача не меняется, данные не меняются, а результат меняется. Авторы называют это разрывом надёжности и отдельно подчёркивают: он не лечится более крупной моделью. Способность и стабильность — разные оси, агент может быть умным и нестабильным одновременно.

Почему агент идёт другой дорогой

Механизм тот же, что у галлюцинации, только растянутый на десятки шагов. Каждое решение агента — какой отчёт открыть, какой фильтр поставить, повторить ли запрос после ошибки — это выбор из распределения вероятностей. Где распределение острое, выбор один и тот же из раза в раз. Где плоское, два варианта почти равны, и достаточно крошечного шума, чтобы победил другой.

Шум есть всегда: округления на видеокартах, порядок обработки запросов на сервере, мелкие различия в контексте. Для острого решения он ничего не меняет. Для плоского — переворачивает выбор. Цепочка из тридцати шагов, в каждом из которых есть небольшой шанс перевернуться, даёт большой шанс, что хотя бы один прогон пойдёт иначе. Отсюда и 24 пункта.

Важное следствие: настройка «отвечай детерминированно» не спасает. Она управляет тем, как модель выбирает из распределения, но не формой самого распределения. Плоское решение остаётся плоским.

IBM предлагает диагностику: взять один записанный прогон агента и в каждой точке решения запросить у модели несколько вариантов продолжения. Там, где варианты расходятся, и есть слабое место. Превратив такие места в письменные правила для агента, авторы сократили разрыв с 24,4 до 12,0 пунктов без потери средней точности. Половина проблемы снята текстом, а не новой моделью.

Что это значит для регулярной задачи

Для разовой задачи нестабильность почти не видна: получили ответ, проверили, приняли. Для задачи, которая идёт каждый понедельник, всё иначе. Проверять каждый прогон руками никто не будет, иначе зачем агент. А значит, тот прогон, который пошёл другой дорогой, останется незамеченным до момента, когда на его основе примут решение.

Практический вывод: регулярная задача не должна каждый раз заново «придумываться» моделью. В ней есть часть, которая повторяется дословно: открыть отчёт, выгрузить за период, посчитать по формуле. И есть часть, где нужно суждение: что делать с аномалией, кому написать, стоит ли останавливать закупку. Первую часть нужно закрепить, вторую оставить модели.

Как проверить ответ нейросети до того, как поверить

Четыре проверки, которые занимают минуты и ловят все три вида сбоев.

Спросите, откуда цифра. Хороший агент называет источник: отчёт, период, строку. Ответ «по моим расчётам» без источника — признак галлюцинации.
Сверьте одну цифру с первоисточником. Не весь отчёт, а одну строку: остаток по одному товару, долг одного контрагента. Если она не сходится, не сходится и остальное.
Поставьте задачу три раза подряд. Сравнивайте не итог, а путь: какие отчёты открыл, какие фильтры поставил. Три разных пути к одному числу — это удача, а не надёжность.
Сломайте вход. Дайте выгрузку не за тот период и посмотрите, заметит ли агент. Агент, который не спотыкается на заведомо плохих данных, не спотыкается и на случайно плохих.

Третья проверка и есть метрика IBM, только руками. Её стоит сделать один раз для каждой задачи, которую вы собираетесь отдать агенту насовсем.

Как это устроено у нас

Мы пришли к тем же выводам раньше, чем прочитали работу IBM, потому что упирались в ту же стену.

Повторяемая часть закреплена скриптом. Когда задача ставится на расписание, агент сначала пишет скрипт для той части, которая повторяется дословно, и задача привязывается к нему по отпечатку. Каждый понедельник выполняется тот же код, а не новая догадка модели. Модель получает результат скрипта и решает только то, что требует суждения.

Изменение скрипта не проходит молча. Если кто-то поправил скрипт после привязки, задача это заметит: отпечаток не совпадает. Здесь у нас есть чему учиться. Сегодня в таком случае прогон отказывает, и человек узнаёт об этом через часы. Codex от OpenAI в похожей ситуации показывает карточку «требуется проверка» и ждёт подтверждения, API навыков Anthropic позволяет закрепить конкретную версию и выполнять именно её. Мы разбираем оба варианта.

Каждое действие записано. Журнал хранит не то, что агент написал в чате, а то, что он сделал: какой отчёт открыл, какую строку изменил, какое письмо отправил. Именно по журналу и сравнивают путь трёх прогонов, о которых шла речь выше.

Необратимое ждёт человека. Удалить, отправить, оплатить — на такие шаги агент останавливается и показывает карточку. Нестабильный прогон, который пошёл другой дорогой, в худшем случае принесёт неверный черновик, а не отправленное письмо.

Итог

Галлюцинация — это уверенный ответ без опоры на данные, и её ловят вопросом «откуда цифра». Но у агента, который работает регулярно, есть менее заметный сбой: сегодня верно, завтра нет, при тех же данных. По замерам IBM он затрагивает четверть задач у сильного агента и не лечится более крупной моделью.

Лечится он устройством работы: повторяемая часть закреплена кодом, суждение оставлено модели, каждое действие записано, необратимое ждёт человека. Проверить любого агента на это можно за вечер: три прогона одной задачи и сравнение путей.

Галлюцинации ИИ: почему нейросеть ошиблась вчера, а сегодня ответила верно, и как проверить ответ до того, как поверить