GigaChat 3.5 Ultra: Сбер открыл 432B-модель с линейным вниманием
Сбер открыл GigaChat 3.5 Ultra: 432B MoE-модель с гибридным вниманием, меньшим KV-cache и MTP. Разбираем, что это значит для разработчиков.
Проверено 6 июля 2026 года. GigaChat 3.5 Ultra — открытая 432B MoE-модель Сбера с гибридной архитектурой MLA + GatedDeltaNet, рассчитанная на более дешёвый длинный контекст и ускоренную генерацию. Веса опубликованы на Hugging Face под лицензией MIT. Релиз важен для всего русскоязычного LLM-рынка: вместе с весами команда показала архитектурный рецепт, цифры по памяти и ограничения развёртывания.
Если коротко: новая GigaChat 3.5 Ultra стала меньше прежнего 700B-флагмана, но Сбер заявляет рост в коде, математике и агентных сценариях. Главное инженерное изменение связано со стоимостью инференса: меньше KV-cache на токен, больше контекста в той же памяти и MTP-головы для self-speculative decoding. Для общего контекста по линейке у нас уже есть обзор GigaChat и сценариев, где он конкурирует с другими российскими моделями. Здесь разбираем именно релиз 3.5 Ultra.
Что именно выпустил Сбер
Сбер описывает GigaChat 3.5 Ultra как новую флагманскую модель для задач с кодом, математикой, длинными документами, финансовыми расчётами и агентными сценариями. На Habr команда пишет, что модель выложена в open source, а Hugging Face фиксирует лицензию MIT. Значит, речь идёт не просто о доступе через продукт «ГигаЧат»: разработчики получают веса и могут проверять модель в своём контуре.
Название может сбить с толку, потому что у Сбера уже была ветка GigaChat 3.1 Ultra на 700B параметров. В 3.5 Ultra общий размер уменьшен до 432B, а активных параметров на токен, по карточке Hugging Face, 28B. В таблицах Сбера встречается округление до 430B, но в тексте и метаданных модели ориентироваться лучше на 432B total / 28B active.
| Параметр | GigaChat 3.1 Ultra | GigaChat 3.5 Ultra | Практический смысл |
|---|---|---|---|
| Размер | 700B total | 432B total, 28B active | Модель меньше прошлого флагмана, но остаётся кластерным классом, а не локальной моделью для домашней GPU. |
| Архитектура | MoE + MLA | MoE + MLA + GatedDeltaNet | Часть слоёв заменена линейным вниманием, чтобы снизить стоимость длинного контекста. |
| Память на контекст | Больше KV-cache на токен | Примерно в 4 раза меньше KV-cache на токен | В ту же память помещается больше контекста; Сбер пишет о приросте более чем в 2 раза. |
| Генерация | MTP был в прошлой ветке | Дополнительные MTP-головы, до 2,2x на greedy decoding | Модель может принять несколько токенов за один шаг без отдельной draft-модели. |
Эту таблицу не стоит читать как обещание дешёвого самостоятельного запуска. GigaChat 3.5 Ultra поддерживает SGLang и vLLM, но примеры на Hugging Face предполагают серьёзный серверный стек, tensor/expert parallel и специальные ветки рантаймов. Для локальных экспериментов в открытом контуре обычно смотрят совсем другой класс моделей; карта таких альтернатив есть в нашем разборе open-source моделей Llama, Mistral и Qwen.
Почему линейное внимание здесь главный сюжет
Обычное внимание хорошо работает, пока контекст не становится слишком длинным и дорогим. Чем больше токенов в запросе, тем больше KV-cache надо хранить и передавать. Сбер решает это не полным отказом от attention, а гибридной схемой: часть слоёв остаётся MLA, часть переходит на GatedDeltaNet. Команда пишет, что MLA оставлен каждым четвёртым слоем, а линейные слои берут на себя основную экономию памяти.
Такая схема полезна именно в длинном контексте. По данным Сбера, у 432B-модели примерно в четыре раза меньше KV-cache на токен, а в тот же объём памяти помещается в 2,14 раза больше токенов. Throughput на контекстах 4-128 тыс. токенов вырос примерно на 20%, а ускорение генерации увеличивается с длиной контекста: от 1,15x на коротком до 1,25x на 131 тыс. токенов.
У этого подхода есть цена: линейное внимание сложнее стабильно обучать на сотнях миллиардов параметров. Поэтому в релизе много места отдано стабилизаторам. Сбер отдельно описывает Gated Attention, GatedNorm, сэндвич-нормализацию и клиппинг активаций внутри MoE-экспертов. Без этих деталей «мы добавили GatedDeltaNet» звучало бы как пересадка модного блока. С ними получается инженерный рецепт, который можно проверять и критиковать.
MTP: ускорение без отдельной draft-модели
Второй слой ускорения — Multi-Token Prediction. Идея проста: модель учится предсказывать не только следующий токен, а несколько токенов вперёд. На инференсе это превращается в self-speculative decoding: модель предлагает черновик продолжения, а основная голова проверяет, какую часть можно принять.
По данным Сбера, вариант с одной MTP-головой ускоряет greedy decoding примерно в 1,5 раза, а две головы дают до 2,2 раза. Третья добавляет уже меньше, поэтому практический выигрыш дают первые две. Это важная оговорка: цифра 2,2x относится к конкретному режиму жадного декодирования, а не к любому пользовательскому запросу с любой температурой.
В этом месте GigaChat 3.5 Ultra хорошо ложится в более широкий тренд: рынок ускоряет инференс не одними GPU, а архитектурными приёмами вокруг генерации токенов. Похожую экономическую логику мы разбирали в материале про ускорение инференса без новой модели: выигрывает команда, которая снижает стоимость каждого ответа.
Что показывают метрики и где нужна осторожность
Сбер показывает две группы метрик: base-модель и instruct-модель. В base-сравнениях GigaChat-3.5-Ultra-Base набирает среднее 72,3 в блоке general, 78,1 в math и 71,9 в code. В instruct-таблице средний результат GigaChat 3.5 Ultra указан как 60,1 против 46,2 у GigaChat 3.1 Ultra и 61,0 у DeepSeek V3.2 в сравнении Сбера.
Здесь важно не перегнуть. В статье не стоит писать, что GigaChat 3.5 Ultra «лучше DeepSeek» вообще: часть метрик выше у DeepSeek V4 Flash Base или DeepSeek V3.2, часть — у GigaChat. Более аккуратный вывод такой: Сбер показывает заметный прогресс относительно собственной 3.1-линейки и заявляет конкурентный уровень в отдельных задачах кода, математики и агентного поведения. Для независимой оценки нужны внешние прогоны, а не только таблицы в релизном посте.
Отдельно команда Сбера пишет о данных. В pretrain они сильнее сместились к органическим текстам, расширили кодовый корпус с 16 языков программирования до более чем 600, использовали классификаторы для математики и кода, а синтетику оставили главным образом для midtrain и сложных задач. Заявленный состав pretrain-корпуса: около 52% веба, 16% кода, 6% математики и 26% качественных источников вроде научных материалов.
Что это меняет для разработчиков
Для разработчика главный плюс релиза не в том, чтобы немедленно скачать модель и запустить её на рабочей станции. GigaChat 3.5 Ultra слишком велика для такого сценария. Польза в другом: появились открытые веса крупной русскоязычной MoE-модели с описанным рецептом гибридного внимания, MTP, FP8-обучения и online RL.
Практических направлений три. Исследователи могут изучать, как гибрид MLA + GatedDeltaNet ведёт себя на русскоязычных и смешанных данных. Инфраструктурные команды с кластером могут проверять модель в SGLang или vLLM, но должны закладывать доработки рантайма и серьёзную конфигурацию parallelism. Продуктовые команды получают новую точку сравнения для задач на русском, где зарубежные open-weight модели часто сильны в английском, но хуже предсказуемы на локальных документах и доменных формулировках.
Есть и ограничение, которое лучше проговорить сразу. MIT-лицензия и открытые веса не отменяют стоимости эксплуатации. Если вам нужен ассистент для RAG, классификации или внутреннего поиска, начинать пилот с 432B-модели почти всегда избыточно. Разумнее сначала проверить меньшие модели на своих данных, а GigaChat 3.5 Ultra рассматривать как тяжёлый эталон или вариант для команды с уже готовой инфраструктурой.
Итог
GigaChat 3.5 Ultra интересна не размером ради размера, а разворотом к эффективности. Сбер уменьшил флагман с 700B до 432B, добавил гибридное внимание, снизил KV-cache, усилил MTP и показал, что крупная русскоязычная модель может двигаться в сторону более дешёвого длинного контекста без отказа от открытых весов.
Для рынка это сигнал: российские LLM уже конкурируют интерфейсами, API и архитектурными решениями, которые можно смотреть в открытых карточках и проверять на своём стеке. Для разработчиков вывод спокойнее: GigaChat 3.5 Ultra слишком велика для массового локального запуска, зато полезна как открытый ориентир для тех, кто думает о русскоязычных LLM на уровне инфраструктуры, инференса и качества на доменных задачах.
Источники и дата проверки
Факты, названия моделей, лицензия, параметры, изображения и метрики проверены 6 июля 2026 года. Быстро меняющиеся данные в статье стоит перепроверять перед публикацией.
