Baidu Unlimited OCR: как читать десятки страниц за один проход
Baidu показала Unlimited OCR: модель для длинных документов, где R-SWA держит KV-cache почти постоянным и читает десятки страниц за один проход.
По состоянию на 6 июля 2026 года Baidu Unlimited OCR — свежая исследовательская работа про OCR для длинных документов. Это не облачный сервис и не готовая замена корпоративному документообороту. Модель пытается распознавать десятки страниц за один проход и не разгонять кэш KV до бесконечности по мере генерации текста.
Baidu строит Unlimited OCR вокруг механизма Reference Sliding Window Attention, или R-SWA. Модель всё время видит reference-токены, в случае OCR это визуальные токены документа, но для уже сгенерированного текста хранит только недавний фрагмент. За счёт этого декодер не тащит за собой всю историю вывода, а память и задержка остаются почти постоянными.
Новость хорошо ложится рядом с темами, о которых Toolarium уже писал: ByteDance MMProLong решал длинные документы через VQA, DharmaOCR показывал экономику специализированных моделей, а SubQ LLM разбирал sparse attention и цену длинного контекста. Baidu выбирает другой ход: вместо одного гигантского контекста для всего меняет правило внимания в OCR-декодере.
Что представила Baidu
Технический отчёт Unlimited OCR Works появился на arXiv 22 июня 2026 года. Авторы из Baidu описывают модель как развитие DeepSeek OCR: они сохраняют DeepEncoder для сжатия изображения, но заменяют стандартное внимание в LLM-декодере на R-SWA. В отчёте заявлено, что такая схема позволяет транскрибировать десятки страниц в одном forward pass при стандартной максимальной длине 32K токенов.
Публичный репозиторий Baidu уже содержит код, веса модели и примеры запуска. В README есть сценарии для Transformers, vLLM и SGLang, в том числе пример multi-page parsing с max_length=32768. Лицензия репозитория указана как MIT, но это не отменяет практических ограничений: модель всё равно требует GPU-инфраструктуры, аккуратной подготовки PDF-страниц и проверки результата на реальных документах.
Как R-SWA удерживает кэш KV
У обычного end-to-end OCR с LLM-декодером проблема появляется на длинном выводе. Каждый новый токен добавляет запись в кэш KV, чтобы модель могла обращаться к прошлому контексту. На одной странице это терпимо. На десятках страниц память растёт, генерация замедляется, и система обычно возвращается к старому инженерному приёму: обработать страницу, сбросить состояние, перейти к следующей странице.
R-SWA делит контекст на две части. Reference-токены остаются видимыми глобально: модель не забывает изображение и prompt. А вот для уже написанного текста используется скользящее окно, по умолчанию 128 предыдущих токенов. Старые токены вывода постепенно выталкиваются из очереди. Получается не полная память обо всём тексте, а рабочая память с мягким забыванием.
Авторы прямо сравнивают это с тем, как человек переписывает книгу: он смотрит на исходный текст, держит в голове ближайшие написанные символы и не перечитывает всю уже переписанную историю перед каждым следующим словом. Аналогия полезна, если не превращать её в мистику. В модели речь идёт о конкретной экономии: decode-side cache перестаёт расти линейно с длиной вывода.
Чем это отличается от обычного OCR-пайплайна
| Подход | Как работает | Слабое место | Что меняет Baidu Unlimited OCR |
|---|---|---|---|
| Классический pipeline OCR | Сначала детектирует блоки, затем распознаёт текст, таблицы, формулы и порядок чтения отдельными компонентами | Много эвристик, сложная склейка страниц и блоков | Не заменяет весь pipeline автоматически, но показывает end-to-end вариант для длинного распознавания |
| Обычный end-to-end OCR с LLM-декодером | Страница или небольшой набор страниц превращается в визуальные токены, дальше LLM генерирует текст | Кэш KV растёт вместе с длиной вывода, поэтому десятки страниц тормозят и упираются в память | R-SWA оставляет постоянный reference-контекст и ограничивает историю вывода скользящим окном |
| Baidu Unlimited OCR | Берёт DeepEncoder, MoE-декодер на 3B параметров с 500M активных параметров и R-SWA во всех слоях внимания | Всё ещё ограничен 32K-контекстом и длиной prefill; мелкий текст на многостраничных PDF остаётся проблемой | Показывает one-shot OCR для 2, 5, 10, 20 и 40+ страниц без page-by-page цикла |
Формулировки вроде «Baidu сделала бесконечный OCR» здесь вредят точности. Работа полезна другим: модель пытается убрать один конкретный тормоз, зависимость памяти и задержки от длины сгенерированного текста. Для корпоративного OCR это важный сигнал, потому что длинные PDF обычно ломаются не на распознавании одной страницы, а на сохранении связного состояния между страницами.
Что показали тесты
В отчёте Baidu заявляет 93% на OmniDocBench v1.5 и преимущество над baseline DeepSeek OCR на 6 процентных пунктов. В разборе по категориям Unlimited OCR выигрывает у DeepSeek OCR и DeepSeek OCR 2 по большинству текстовых и reading-order метрик, хотя отдельные ячейки у конкурентов остаются лучше. Это важная оговорка: результат выглядит сильным, но не превращает модель в универсальный победитель по всем типам документов.
Для длинных документов авторы тестировали 2, 5, 10, 15, 20 и 40+ страниц. На 40+ страницах в таблице указан Edit Distance 0.1069 и Distinct-35 96.90%. Авторы отдельно пишут, что основные повторяющиеся ошибки связаны с мелким текстом в PDF при Base-режиме 1024×1024, а не с тем, что R-SWA теряет позицию в длинном выводе.
Самый наглядный технический результат связан со скоростью. В теоретическом сравнении потолка вывода при длине 6144 токена DeepSeek OCR показывает 5822.87 токена/с, а Unlimited OCR 7847.71 токена/с. Авторы называют разницу примерно 35% и связывают её с тем, что стандартное внимание платит всё больше за растущий кэш, а R-SWA держит постоянное окно.
Где граница слова Unlimited
Самая опасная ошибка в таком материале — принять название Unlimited буквально. В разделе ограничений Baidu прямо пишет: модель не даёт «по-настоящему безлимитный» разбор при конечной длине контекста, например 32K. Prefill тоже растёт, потому что визуальные токены страниц надо куда-то положить. Чем больше страниц, тем длиннее входная часть, даже если decode-side cache остаётся ограниченным.
Краткосрочный план авторов — обучать модели с более длинным контекстом, например 128K, чтобы помещать больше страниц на prefill. Дальше они предлагают prefill pool: модель должна научиться вытаскивать нужные chunks визуального контекста примерно так, как человек перелистывает страницы. Это уже будущая работа, а не текущая возможность релиза.
Для читателя практическая формулировка такая: Baidu Unlimited OCR показывает архитектурный путь к длинному OCR, но не отменяет проверку качества, разметку сложных документов, требования к железу и интеграцию с существующими системами. Если у компании есть поток многостраничных PDF, отчёт полезен как технический ориентир, а не как готовый SaaS-продукт.
Почему это важно за пределами OCR
R-SWA интересен не только из-за документов. Авторы отдельно указывают, что такой тип внимания может подойти для reference-based задач: распознавания речи, перевода и других сценариев, где есть постоянный источник и длинный генерируемый результат. Везде возникает похожий конфликт: модель должна видеть исходный материал, но ей не всегда нужно помнить всю уже сгенерированную историю с одинаковой точностью.
Если этот подход подтвердится на других задачах, он станет ещё одним примером прагматичного движения в ИИ: лаборатории увеличивают контекст и число параметров, но параллельно меняют схему памяти под конкретный процесс. Для китайских лабораторий это особенно заметная линия. На фоне гонки больших моделей они всё чаще показывают инженерные обходы узких мест: дешевле держать постоянный кэш, лучше сжимать визуальные токены, аккуратнее выбирать, что именно модель должна помнить.
Что это значит для рынка OCR
Для разработчиков document AI главный вывод простой: длинный документ нельзя считать набором независимых страниц. В контрактах, отчётах, научных PDF и сканах с таблицами смысл часто живёт между страницами. Page-by-page цикл удобен для инфраструктуры, но он режет документ на куски и перекладывает склейку на внешний код.
Baidu Unlimited OCR показывает другой вариант: пусть модель распознаёт многостраничный документ как непрерывную задачу, но не хранит весь вывод в полном внимании. Это не снимает вопрос цены и качества, зато даёт понятный исследовательский вектор. Следующие практические модели для документов, скорее всего, будут соревноваться не только в точности на одной странице, но и в том, насколько стабильно они держат длинный документ без взрыва памяти.
Главное
Baidu Unlimited OCR стоит читать как технический отчёт о памяти в OCR-декодере. Сильная идея — R-SWA: визуальный источник остаётся доступным, а история вывода превращается в ограниченное рабочее окно. Это позволяет обрабатывать десятки страниц за один проход и удерживать задержку ближе к постоянной.
Ограничения тоже существенные: 32K-контекст, prefill, качество мелкого текста, исследовательский статус и необходимость реальной проверки на документах пользователя. Но сама работа хорошо показывает, куда движется длинный OCR: меньше page-by-page костылей, больше архитектурной работы с памятью.
Читайте также
- ByteDance MMProLong: почему вопросы к длинным документам полезнее OCR
- Специализированные малые модели против frontier API: что показал DharmaOCR
- SubQ LLM: что стоит за заявлениями о sparse attention и 12 млн токенов
Источники и проверка фактов
- arXiv: Unlimited OCR Works, версия v1 от 22 июня 2026 года. Использовано для архитектуры R-SWA, 32K-ограничения, параметров DeepEncoder/MoE, результатов OmniDocBench, тестов 40+ страниц и анализа задержки. Проверено 6 июля 2026 года.
- GitHub: baidu/Unlimited-OCR. Использовано для доступности кода и весов, лицензии MIT, примеров запуска Transformers/vLLM/SGLang и
max_length=32768. Проверено 6 июля 2026 года. - The Decoder: Baidu's Unlimited OCR processes dozens of document pages in one pass, опубликовано 5 июля 2026 года. Использовано как новостной повод и независимое резюме claims Baidu. Проверено 6 июля 2026 года.
