Langfuse
Подключите Langfuse к ИИ-агенту: трейсы, генерации, скоры, сессии, промпты и датасеты
Подключите Langfuse к ИИ-агенту: трейсы, генерации, скоры, сессии, промпты и датасеты. Агент найдёт упавшие генерации и покажет, где просело качество.
ДокументацияСредний скор упал с 0,82 до 0,67 после версии промпта v12.
Сопоставил скоры с сессиями: сильнее всего просели диалоги с длинным контекстом — 34 сессии из 210. В трейсах там же выросла доля обрывов генерации до 6%.
Сценарии интеграции
Разбор трейсов за сутки
Агент разберёт трейсы за сутки и покажет, где генерации падали и на каких шагах терялось больше всего времени.
Просадка качества ответов
Агент сопоставит скоры с сессиями и назовёт диалоги, в которых качество ответов просело сильнее всего.
Сводка по наблюдаемости
Агент пришлёт сводку по расписанию: сколько трейсов, какая доля ошибок и как изменились скоры за выбранный период.
Промпты и датасеты
Агент поднимет версии промптов и элементы датасетов проекта, чтобы связать правку промпта с изменением скоров.
Как подключить
Войдите в Langfuse в своём регионе
EU — https://cloud.langfuse.com, US — https://us.cloud.langfuse.com, Япония — https://jp.cloud.langfuse.com. Ключи выдаются на один проект, поэтому откройте именно тот проект, данные которого нужны агенту.
Откройте Settings → «API Keys» в проекте
В открытом проекте: Settings → «API Keys». Нужна роль Owner или Admin: Member и Viewer настройки проекта не конфигурируют, и раздел с ключами им не откроется.
Создайте новую пару ключей и скопируйте обе
Пара состоит из публичного ключа с префиксом pk-lf- и секретного с префиксом sk-lf-. Скопируйте оба значения сразу после создания — секретный ключ понадобится целиком, укороченный показ в списке не годится.
Запишите адрес своего хоста
Если проект не в EU-регионе, кроме ключей понадобится адрес хоста: https://us.cloud.langfuse.com, https://jp.cloud.langfuse.com, https://hipaa.cloud.langfuse.com или домен вашей self-hosted-установки.
Что агент сделает в первые 10 минут
- Разберёт трейсы за сутки и покажет, где генерации падали и на каких шагах агент терял больше всего времени
- Сопоставит скоры с сессиями и назовёт диалоги, в которых качество ответов просело сильнее всего
- Будет присылать сводку по расписанию: сколько трейсов, какая доля ошибок и как изменились скоры за период
Частые вопросы
Как подключить Langfuse?
Парой ключей проекта: откройте нужный проект → Settings → «API Keys» и создайте пару. Публичный ключ начинается с pk-lf-, секретный — с sk-lf-. Если проект не в EU-регионе, укажите host: например, https://us.cloud.langfuse.com или домен своей установки.
Что агент видит в Langfuse?
Трейсы и генерации, скоры, сессии, версии промптов и датасеты одного проекта: ключи выдаются на проект, а не на всю организацию.
Пишет ли агент в Langfuse?
По умолчанию агент читает наблюдаемость и отчитывается в чате: собственных трейсов он не отправляет и промпты не меняет без вашего запроса.
Нужна ли отдельная роль?
Пару ключей создаёт только Owner или Admin проекта — Member и Viewer раздел настроек не откроют. Самому агенту достаточно уже созданной пары ключей.
