Langfuse
Langfuse

Разбирайте трейсы Langfuse и ловите просадки качества

Подключите Langfuse к ИИ-агенту: трейсы, генерации, скоры, сессии, промпты и датасеты. Агент найдёт упавшие генерации и покажет, где просело качество.

Как агент работает с Langfuse

Агент читает публичный API Langfuse: трейсы и вложенные в них генерации, скоры, сессии, версии промптов и элементы датасетов проекта. На этом он строит разбор — сколько трейсов было за период и какая доля из них завершилась ошибкой, на каких шагах терялось время, как двигались скоры и какие диалоги просели по качеству сильнее остальных. Тот же разбор он присылает сводкой по расписанию.

Трейс здесь не плоская запись, а дерево наблюдений, поэтому «медленно» на уровне трейса ещё не значит медленную генерацию: время может уходить в соседний шаг, и агент называет конкретное звено. Скор тоже живёт отдельной сущностью, привязанной к трейсу, а сессия склеивает много трейсов в один диалог — просадку качества агент ищет по этой связке, а не по одной оценке в отрыве от разговора.

Наблюдаемость агент только читает: собственных трейсов он в ваш проект не отправляет и версии промптов не меняет без явного запроса — правка промпта остаётся вашим действием, агент лишь связывает её с изменением скоров. Вебхуков у Langfuse в этом подключении нет, поэтому о просадке он сообщает по вашему вопросу или по согласованному расписанию сводок, а не в момент, когда она случилась.

Ключи агент хранит зашифрованными и передаёт basic-авторизацией на каждый запрос; отзыв пары в списке ключей гасит подключение сразу, без ожидания истечения срока. Пара действует на один проект: соседние проекты той же организации агент не видит, под каждый нужна своя пара. Длинные периоды он забирает страницами и держит невысокую частоту запросов, чтобы один отчёт не съел лимит проекта. Когда данных за период нет, агент говорит об этом прямо, а не рисует пустой график.

Сценарии интеграции

Разбор трейсов за сутки

Агент разберёт трейсы за сутки и покажет, где генерации падали и на каких шагах терялось больше всего времени.

Просадка качества ответов

Агент сопоставит скоры с сессиями и назовёт диалоги, в которых качество ответов просело сильнее всего.

Сводка по наблюдаемости

Агент пришлёт сводку по расписанию: сколько трейсов, какая доля ошибок и как изменились скоры за выбранный период.

Промпты и датасеты

Агент поднимет версии промптов и элементы датасетов проекта, чтобы связать правку промпта с изменением скоров.

Разбор одного диалога

Агент склеит трейсы сессии в один диалог и развернёт дерево наблюдений — видно, на каком шаге ответ ушёл не туда и сколько времени это стоило.

Что покрыто датасетом

Агент поднимет элементы датасета вместе с привязанными трейсами и скорами и покажет, какие случаи уже проверены, а какие остались без единой оценки.

Примеры: Langfuse

Langfuse
Langfuse
Реальные диалоги — выберите вопрос
Скоры просели, посмотри где

Средний скор упал с 0,82 до 0,67 после версии промпта v12.

Сопоставил скоры с сессиями: сильнее всего просели диалоги с длинным контекстом — 34 сессии из 210. В трейсах там же выросла доля обрывов генерации до 6%.

Просадка скоров

Скоры после версии промпта v12

Средний скор: 0,82 → 0,67

Где просело сильнее

  • Диалоги с длинным контекстом — 34 сессии из 210
  • В тех же трейсах доля обрывов генерации выросла до 6%

Сопоставление скоров с сессиями, окно — до и после выкатки v12.

Ответить...

Ассистент может ошибаться — проверяйте его работу

Как подключить

Перед подключением

  • Роль Owner или Admin в проекте Langfuse.
  • Проект Langfuse, в который уже пишутся трейсы.
  1. 1

    Войдите в Langfuse в своём регионе

    EU — https://cloud.langfuse.com, US — https://us.cloud.langfuse.com, Япония — https://jp.cloud.langfuse.com. Откройте тот проект, данные которого нужны агенту.

  2. 2

    Откройте Settings → «API Keys» в проекте

    В открытом проекте: Settings → «API Keys». Нужна роль Owner или Admin: Member и Viewer раздел настроек проекта не откроют.

  3. 3

    Создайте новую пару ключей и скопируйте обе

    Пара — публичный ключ с префиксом pk-lf- и секретный с sk-lf-. Скопируйте оба значения сразу: секретный нужен целиком, укороченный показ в списке не годится.

  4. 4

    Запишите адрес своего хоста

    Если проект не в EU, кроме ключей нужен адрес хоста: https://us.cloud.langfuse.com, https://jp.cloud.langfuse.com или домен своей self-hosted-установки.

Частые вопросы

Парой ключей проекта: откройте нужный проект → Settings → «API Keys» и создайте пару. Публичный ключ начинается с pk-lf-, секретный — с sk-lf-. Если проект не в EU-регионе, укажите host: например, https://us.cloud.langfuse.com или домен своей установки.

Трейсы и генерации, скоры, сессии, версии промптов и датасеты одного проекта: ключи выдаются на проект, а не на всю организацию.

По умолчанию агент читает наблюдаемость и отчитывается в чате: собственных трейсов он не отправляет и промпты не меняет без вашего запроса.

Пару ключей создаёт только Owner или Admin проекта — Member и Viewer раздел настроек не откроют. Самому агенту достаточно уже созданной пары ключей.

Похожие интеграции

Категория
Разработка
Подключение
По API-ключу
Документация
Langfuse

Подключите Langfuse

Зарегистрируйтесь — подключение занимает пару минут, данные остаются в ваших системах.

Попробовать бесплатно