Microsoft Mirage: пространственная память для генерации видео

Microsoft Mirage - это research-фреймворк для video world models, который хранит статический 3D-контекст сцены прямо в латентном пространстве diffusion-модели. Такая память помогает сохранять геометрию кадра при движении камеры и возвращении к уже видимым областям.

По состоянию на 14 июня 2026 года Mirage не стоит читать как новый публичный аналог Sora, Runway или Veo. Это не сервис для пользователей, а исследовательская архитектура: она отвечает на более узкий вопрос. Как сделать так, чтобы видеомодель не забывала, что было за углом, когда камера ушла дальше и потом вернулась назад?

Что произошло

8 июня 2026 года на arXiv вышла работа Latent Spatial Memory for Video World Models. Авторы связаны с Zhejiang University, Microsoft Research, Adelaide University и Monash University. 14 июня The Decoder вынес Mirage в новостную повестку как пример видеомодели с постоянной пространственной памятью.

На официальной странице проекта Microsoft указывает три главных результата: до 10,57 раза быстрее end-to-end генерация, до 55 раз меньше памяти для 3D-кэша и средний WorldScore 70,36. Эти цифры важны, но их нужно читать аккуратно: это результаты внутри экспериментальной постановки авторов, а не гарантия скорости в любом продукте генерации видео.

Главная новость не в самой цифре. Mirage переносит память сцены из RGB-представления в латентное пространство модели. Для рынка, где нейросети для генерации видео всё чаще пытаются стать не просто генераторами роликов, а симуляторами мира, это важная архитектурная развилка.

Почему видеомодели теряют сцену

Обычная видеогенерация хорошо умеет делать убедительные отдельные кадры и короткие клипы. Проблема начинается, когда камеру заставляют долго двигаться по сцене: пройти через комнату, обойти здание, вернуться к исходной точке. Модель должна помнить, где стояла стена, как выглядел фасад, какие поверхности уже были показаны.

Если такой памяти нет, появляется геометрический дрейф. Кадры по отдельности могут выглядеть нормально, но вместе они ломают пространство: объект меняет форму, текстура плывёт, уже видимая зона возвращается другой. Для красивого демо это неприятно. Для world model, интерактивной среды или робототехнического симулятора это уже системная ошибка.

Мы разбирали похожую линию в материале про Google Genie world models. Там фокус был на интерактивных мирах, где пользователь или агент действует в среде. Mirage решает более узкую задачу: не интерактивность как таковую, а устойчивую память статической сцены при генерации видео по траектории камеры.

Что такое latent spatial memory

До Mirage многие подходы к пространственной памяти держали 3D-кэш как RGB point cloud. Упрощённо: система берёт кадр, оценивает глубину, поднимает пиксели в 3D, а потом при новом ракурсе рендерит эту облачную память обратно в изображение и снова кодирует его в латенты для diffusion-модели.

В этом маршруте есть лишний круг. Модель работает в латентном пространстве, но память хранится в пикселях. Значит, на каждом шаге приходится платить за render -> encode, а заодно терять часть признаков, которые уже были внутри модели.

Mirage убирает этот RGB-обход. Он кодирует исходный кадр в VAE-латенты, поднимает эти latent tokens в 3D через depth-guided back-projection и хранит их как persistent 3D cache. Когда нужен новый ракурс, кэш проецируется сразу на latent grid целевой камеры. Модель получает память в том же пространстве, где она уже денойзит видео.

Как устроен цикл Mirage

Архитектура Mirage выглядит как повторяющийся цикл initialize -> readout -> denoise -> write. На старте система берёт первое наблюдение, кодирует его в латенты, оценивает глубину и строит начальный 3D-кэш. Затем для каждого следующего чанка она читает память под нужные позы камеры, подаёт её в diffusion backbone через ControlNet-style side branch, генерирует кадры и обновляет кэш новыми статическими деталями.

Важная деталь: Mirage сознательно фильтрует moving objects и sky при обновлении памяти. Авторы не пытаются хранить всё подряд. Статические поверхности можно закреплять в 3D-кэше, а движущиеся объекты на границах чанков легко дадут неверную геометрию. Поэтому busy scenes получают меньше пользы от spatial memory, чем спокойные интерьеры или улицы с устойчивой геометрией.

Это не слабость, которую надо спрятать в сноску. Это граница метода. Mirage делает сильную ставку на память статической сцены. Следующая сложная задача - динамическая память: люди, машины, животные, тени, отражения и объекты, которые не должны навсегда приклеиваться к одной 3D-точке.

Чем Mirage отличается от Spatia

Microsoft Research уже публиковала Spatia: framework для видеогенерации с обновляемой spatial memory. Spatia явно хранит 3D scene point cloud как persistent spatial memory и обновляет её через visual SLAM. Это был важный шаг против краткосрочной памяти обычных видеомоделей.

Mirage можно читать как следующий поворот той же идеи. Он не отказывается от 3D-геометрии, но меняет носитель памяти: вместо RGB-точек хранит latent features. Поэтому сравнение Mirage с Spatia полезнее, чем сравнение с Sora. Sora и похожие пользовательские видеогенераторы соревнуются за качество ролика и UX. Mirage отвечает на вопрос, как внутри world model дешевле и точнее удерживать сцену при длинной траектории.

Для робототехники и агентов эта тема тоже не изолирована. В статье про World Action Models для робототехники мы уже писали, что модели мира должны не только рисовать следующее состояние, но и сохранять устойчивое представление среды. Mirage показывает один возможный кирпич для такого представления, хотя сам по себе не является робототехнической системой.

Что показали результаты

На официальной странице проекта указано: 10,57x faster generation, 55x lower 3D cache memory и WorldScore average 70,36. В arXiv-версии авторы объясняют источник ускорения так: readout работает на latent resolution и не гоняет RGB-кэш через pixel-space rendering и VAE encoder на каждом conditioning step.

В ablation-таблице paper полный Mirage получает WorldScore average 70,36. Замена latent cache на explicit RGB point cloud снижает average до 67,71. Вариант без фильтра динамических объектов падает до 61,20. Это хорошо показывает, что результат держится не на одной красивой идее, а на сочетании латентной памяти, правильного readout и осторожного обновления кэша.

Есть и данные по устойчивости к источнику depth. С DepthAnything 3 авторы приводят average 70,36; с MapAnything - 69,66; с UniDepth - 69,13. Разница есть, но она не превращает метод в хрупкую привязку к одному depth-реконструктору.

Где ограничения

Первое ограничение очевидное: это research-фреймворк. На GitHub есть публичный репозиторий microsoft/LatentSpatialMemory, но на момент проверки 14 июня 2026 года в нём нет опубликованных releases, а README всё ещё показывает badge `Code Coming Soon`. Значит, Mirage нельзя подавать как готовый инструмент, который можно поставить и завтра встроить в продукт.

Второе ограничение - зависимость от геометрии. Latent spatial memory строится через depth-guided back-projection. Если глубина ошибается, часть latent tokens попадает не туда. ControlNet-style side branch помогает использовать кэш как мягкую подсказку, но не отменяет того, что плохая геометрия портит память.

Третье ограничение - динамика. Авторы сами выводят moving objects за пределы кэша при обновлении. Это разумно для стабильности, но ограничивает пользу в насыщенных сценах. Для настоящих интерактивных миров мало помнить стены и пол. Нужно ещё корректно помнить то, что движется, меняет состояние и взаимодействует с камерой.

Почему это важно для AI-видео

Mirage показывает, что следующая гонка в AI-видео будет не только про красивую картинку. Генератору нужно помнить мир. Не в смысле длинного текстового контекста, а в смысле устойчивой пространственной структуры: где находится поверхность, что уже было показано, как сцена выглядит при возврате камеры.

Это особенно важно для сценариев, где видео становится интерфейсом к симуляции: игры, виртуальные туры, обучение роботов, synthetic data, просмотр сложных помещений, интерактивные редакторы. В таких задачах пользователь быстро замечает не только артефакты, но и нарушение пространства. Если модель «перерисовала» комнату после поворота камеры, это уже не мир, а серия красивых открыток.

Поэтому Mirage лучше описывать как архитектурный сигнал. Он не заменяет пользовательские видеогенераторы и не закрывает тему world models. Но он показывает, куда может двигаться слой памяти: ближе к внутренним представлениям самой модели, дальше от дорогих RGB-обходов.

Короткий FAQ

Что такое Microsoft Mirage?

Microsoft Mirage - research-фреймворк для video world models. Он хранит 3D-контекст статической сцены как latent tokens и использует эту память при генерации следующих кадров по траектории камеры.

Чем latent spatial memory отличается от обычной генерации видео?

Обычная видеомодель часто опирается на ограниченный временной контекст. Mirage добавляет persistent 3D cache: сцена не просто продолжается кадр за кадром, а читается из пространственной памяти при новых ракурсах.

Почему Mirage не надо напрямую сравнивать с Sora или Runway?

Sora, Runway и похожие системы - пользовательские видеогенераторы. Mirage - исследовательская архитектура памяти для 3D-consistent video generation. Его корректнее сравнивать с подходами к spatial memory, включая Spatia и RGB point-cloud baselines.

Источники и проверка фактов

Факты, цифры и ссылки проверены 14 июня 2026 года. Mirage и репозиторий могут обновляться после публикации, поэтому технический статус кода стоит сверять с актуальной страницей проекта.

• Microsoft Mirage project page - использована для названия проекта, авторства, официальных диаграмм, 10,57x, 55x и WorldScore 70,36.
• arXiv: Latent Spatial Memory for Video World Models, версия от 8 июня 2026 года - использована для методики, ограничений, ablation и результатов.
• GitHub: microsoft/LatentSpatialMemory - использован для официальных изображений, статуса репозитория, лицензии и отсутствия releases на дату проверки.
• Microsoft Research: Spatia - использован для сравнения с предшественником, где spatial memory хранится как 3D point cloud и обновляется через visual SLAM.
• The Decoder, опубликовано 14 июня 2026 года - использован как исходный RSS/news-сигнал и для формулировки ограничения по moving objects.