Разбирайте трейсы Langfuse и ловите просадки качества
Подключите Langfuse к ИИ-агенту: трейсы, генерации, скоры, сессии, промпты и датасеты. Агент найдёт упавшие генерации и покажет, где просело качество.
Как агент работает с Langfuse
Агент читает публичный API Langfuse: трейсы и вложенные в них генерации, скоры, сессии, версии промптов и элементы датасетов проекта. На этом он строит разбор — сколько трейсов было за период и какая доля из них завершилась ошибкой, на каких шагах терялось время, как двигались скоры и какие диалоги просели по качеству сильнее остальных. Тот же разбор он присылает сводкой по расписанию.
Трейс здесь не плоская запись, а дерево наблюдений, поэтому «медленно» на уровне трейса ещё не значит медленную генерацию: время может уходить в соседний шаг, и агент называет конкретное звено. Скор тоже живёт отдельной сущностью, привязанной к трейсу, а сессия склеивает много трейсов в один диалог — просадку качества агент ищет по этой связке, а не по одной оценке в отрыве от разговора.
Наблюдаемость агент только читает: собственных трейсов он в ваш проект не отправляет и версии промптов не меняет без явного запроса — правка промпта остаётся вашим действием, агент лишь связывает её с изменением скоров. Вебхуков у Langfuse в этом подключении нет, поэтому о просадке он сообщает по вашему вопросу или по согласованному расписанию сводок, а не в момент, когда она случилась.
Ключи агент хранит зашифрованными и передаёт basic-авторизацией на каждый запрос; отзыв пары в списке ключей гасит подключение сразу, без ожидания истечения срока. Пара действует на один проект: соседние проекты той же организации агент не видит, под каждый нужна своя пара. Длинные периоды он забирает страницами и держит невысокую частоту запросов, чтобы один отчёт не съел лимит проекта. Когда данных за период нет, агент говорит об этом прямо, а не рисует пустой график.
Сценарии интеграции
Разбор трейсов за сутки
Агент разберёт трейсы за сутки и покажет, где генерации падали и на каких шагах терялось больше всего времени.
Просадка качества ответов
Агент сопоставит скоры с сессиями и назовёт диалоги, в которых качество ответов просело сильнее всего.
Сводка по наблюдаемости
Агент пришлёт сводку по расписанию: сколько трейсов, какая доля ошибок и как изменились скоры за выбранный период.
Промпты и датасеты
Агент поднимет версии промптов и элементы датасетов проекта, чтобы связать правку промпта с изменением скоров.
Разбор одного диалога
Агент склеит трейсы сессии в один диалог и развернёт дерево наблюдений — видно, на каком шаге ответ ушёл не туда и сколько времени это стоило.
Что покрыто датасетом
Агент поднимет элементы датасета вместе с привязанными трейсами и скорами и покажет, какие случаи уже проверены, а какие остались без единой оценки.
Примеры: Langfuse
Средний скор упал с 0,82 до 0,67 после версии промпта v12.
Сопоставил скоры с сессиями: сильнее всего просели диалоги с длинным контекстом — 34 сессии из 210. В трейсах там же выросла доля обрывов генерации до 6%.
Ассистент может ошибаться — проверяйте его работу
За сутки 4 120 трейсов, ошибкой закончились 138.
- Таймаут внешнего инструмента — 74
- Обрыв генерации по лимиту токенов — 41
- Ошибка разбора ответа — 23
Медиана трейса — 3,4 секунды, но у верхних 5% она уходит за 19 секунд, и почти всё это время лежит на одном шаге поиска. Трейсы Langfuse отдаёт страницами по 100 записей, сутки обошёл по числу страниц из meta.
Ассистент может ошибаться — проверяйте его работу
Как подключить
Перед подключением
- Роль Owner или Admin в проекте Langfuse.
- Проект Langfuse, в который уже пишутся трейсы.
- 1
Войдите в Langfuse в своём регионе
EU — https://cloud.langfuse.com, US — https://us.cloud.langfuse.com, Япония — https://jp.cloud.langfuse.com. Откройте тот проект, данные которого нужны агенту.
- 2
Откройте Settings → «API Keys» в проекте
В открытом проекте: Settings → «API Keys». Нужна роль Owner или Admin: Member и Viewer раздел настроек проекта не откроют.
- 3
Создайте новую пару ключей и скопируйте обе
Пара — публичный ключ с префиксом pk-lf- и секретный с sk-lf-. Скопируйте оба значения сразу: секретный нужен целиком, укороченный показ в списке не годится.
- 4
Запишите адрес своего хоста
Если проект не в EU, кроме ключей нужен адрес хоста: https://us.cloud.langfuse.com, https://jp.cloud.langfuse.com или домен своей self-hosted-установки.
Частые вопросы
Парой ключей проекта: откройте нужный проект → Settings → «API Keys» и создайте пару. Публичный ключ начинается с pk-lf-, секретный — с sk-lf-. Если проект не в EU-регионе, укажите host: например, https://us.cloud.langfuse.com или домен своей установки.
Трейсы и генерации, скоры, сессии, версии промптов и датасеты одного проекта: ключи выдаются на проект, а не на всю организацию.
По умолчанию агент читает наблюдаемость и отчитывается в чате: собственных трейсов он не отправляет и промпты не меняет без вашего запроса.
Пару ключей создаёт только Owner или Admin проекта — Member и Viewer раздел настроек не откроют. Самому агенту достаточно уже созданной пары ключей.