Чаты и контекст

Чат — это рабочий стол, а не архив. Всё, что написано в чате, агент перечитывает на каждом шаге: чем длиннее переписка, тем больше внимания уходит на старое и тем выше шанс, что вчерашний отчёт смешается с сегодняшним.

Чатов с агентом сколько угодно

С одним агентом можно вести сколько угодно чатов: удобнее всего один чат на одну задачу. Прежние чаты остаются в списке слева.

  • У каждого агента есть основной чат: он появляется в списке слева сразу после создания агента и подписан его именем. Туда приходят сообщения от других агентов. Агенту, которым с вами поделился коллега, основной чат открывает кнопка «Начать чат» в Настройки → Агенты.
  • Новая тема: «Новый чат», и задача начнётся с чистого листа. Либо «Очистить чат» в меню чата (кнопка «⋯» в шапке или меню строки в левой панели) или команда /clear.
  • Очистить значит удалить, как в мессенджерах: вся переписка уходит из ленты, чат остаётся в списке пустым. Передумали сразу после очистки: нажмите «Отменить» в появившемся уведомлении.
  • Важное из очищенного чата агент сохраняет в память, поэтому повторять факты не придётся.
  • Признак, что пора: вы пишете «забудь предыдущее», «теперь про другое», «давай сначала».
  • В групповом чате, где есть другие люди, очистки нет: ленту читают все участники, и очистка стёрла бы её за всех.

Переименовать чат

Откройте меню строки чата в списке слева и выберите «Переименовать чат». Название встанет подписью рядом с именем агента, а само имя агента не изменится. Если оставить поле пустым, чат снова будет подписан темой разговора. Групповой чат без названия называется именами участников.

Если переписка всё-таки выросла

Агент сожмёт контекст сам, ничего нажимать не нужно. Пока он сжимает, в строке хода стоит шаг «Сжимаю контекст», после этого ответ продолжается. Ваши сообщения и сделанные выводы сохранятся в сводке, а подробности старых выгрузок нет. Лента остаётся как была: сжимается только то, что агент перечитывает.

Признаки перегруженного чата

Ответы стали медленнее, агент путает периоды и файлы, возвращается к задаче, которую вы уже закрыли выше. Очистить чат и дать в первом сообщении короткую выжимку быстрее, чем разбирать длинную переписку.

Сжать контекст вручную

Команда /compact сжимает контекст сразу, не дожидаясь, пока переписка дорастёт до порога. Через пробел можно назвать, что сохранить в сводке подробнее: /compact решения по интеграции 1С. Пока агент отвечает, команда не сработает: повторите её, когда ответ закончится.

Если сжать не удалось

Изредка переписка не помещается в окно модели даже после сжатия: обычно из-за очень большого сообщения или вставки в текущем запросе. Тогда ход останавливается с ошибкой «Чат не помещается в окно модели». Что делать:

  • очистить чат в меню чата или командой /clear: агент начнёт с чистого листа и сохранит то, что запомнил;
  • если слишком велико само сообщение, отправить его короче, а большую выгрузку приложить файлом: файл уходит в рабочую среду, а не в переписку.

Повторять /compact не нужно: агент уже пробовал сжать контекст тем же способом.

Цена длинного чата

У некоторых моделей есть ценовая ступень: запрос длиннее, чем, например, 272 тысячи токенов, оплачивается вдвое дороже. Агент сжимает контекст раньше этой ступени, поэтому обычно переписка до неё не доходит.

Длинный чат расходует и недельный лимит быстрее: агент перечитывает всю переписку на каждом шаге, и каждое новое сообщение оплачивается вместе со всем, что он перечитывает.

Что сказать после очистки

После очистки дайте агенту минимум, который нужен для задачи:

  • нужный файл: приложите заново, это надёжнее ссылки на «тот файл выше»;
  • итог предыдущего разговора одним абзацем, если он важен;
  • всё, что должно действовать постоянно: запишите в память, тогда повторять не придётся вовсе.

Вопрос по куску ответа

Выделите мышью фрагмент в ответе агента и нажмите «Спросить». Фрагмент встанет над полем ввода как цитата, и ваш вопрос уйдёт ответом именно на него: «а откуда эта цифра?», «перепиши этот абзац короче». Так не нужно копировать текст и объяснять, о каком месте речь.

Режим инкогнито

Режим инкогнито — для разового чувствительного вопроса: чат не сохраняется в историю и ничего не записывается в память. Для повседневной работы он не подходит: агент не сможет опираться на этот чат дальше.

Частые вопросы

Когда нужно очищать чат?

Когда меняется тема. Признак: вы пишете «забудь предыдущее», «теперь про другое», «давай сначала». Нажмите «Очистить чат» в меню чата или отправьте /clear. Переписка удалится, агент начнёт с чистого листа, но сохранит то, что успел запомнить. Сразу после очистки её можно вернуть кнопкой «Отменить».

Что означает шаг «Сжимаю контекст»?

Переписка стала слишком длинной, и агент сам сводит её раннюю часть в сводку, а затем продолжает ответ. Ваши сообщения и выводы сохраняются, подробности старых выгрузок нет. Лента остаётся как была. Это сигнал, что чат пора очистить.

Можно ли сжать контекст вручную?

Да, командой /compact, когда агент не отвечает. Через пробел можно назвать, что сохранить в сводке подробнее: /compact решения по интеграции 1С.

Что делать, если сжать контекст не удалось?

Очистить чат в меню чата или командой /clear. Если слишком велико само сообщение, отправьте его короче, а большую выгрузку приложите файлом. Повторять /compact не нужно: агент уже пробовал сжать контекст тем же способом.

Была ли страница полезна?