SenseNova открыла веса Loop-9B-Preview: модель дважды выполняет один блок слоёв

30 октября 2026 года SenseNova выпустила SenseNova-Loop-9B-Preview — предварительную модель с открытыми весами под Apache 2.0. Она принимает текст и изображения, а отвечает текстом. Разработчики ориентируют её на обработку документов, программирование и взаимодействие с внешними инструментами.

Особенность архитектуры — повторное выполнение блока с общими весами. Из 32 различных слоёв декодера 24 проходят дважды: сначала работают слои 0–3, затем два последовательных прохода через слои 4–27, после — слои 28–31. Получаются 56 выполнений слоёв без хранения 56 отдельных наборов весов.

Внутри повторяемого блока механизм mHC управляет обменом между двумя остаточными потоками. Декодер также чередует линейное и полное внимание. Это способ увеличить глубину вычисления; сам по себе он не доказывает ускорения или удешевления вывода.

Длинный контекст и дообучение

В карточке указана максимальная длина обучающих последовательностей 262 144 токена. Это не подтверждение качества на всём диапазоне. Руководство по обучению отдельно предупреждает: упаковка нескольких документов в последовательность такой длины не равнозначна обработке одного документа на 256K токенов.

В TorchTitan опубликованы сценарии SFT и sigmoid DPO с повторяемыми слоями и mHC. Типовая конфигурация рассчитана на восемь GPU; для SFT на 256K требуется достаточная память. Синтетические примеры рядом со скриптами предназначены лишь для проверки запуска, а не оценки качества.

Что учитывать при запуске

Пример Transformers использует trust_remote_code=True для загрузки собственной реализации модели. Для SGLang опубликована инструкция установки из pull request: история репозитория датирует её добавление 30 октября. Поэтому совместимость с произвольной стабильной установкой сервера предполагать нельзя.

Preview-статус и отсутствие в использованных материалах независимой проверки скорости и качества ограничивают выводы о готовности к внедрению. Практический результат релиза — доступная архитектура для собственных экспериментов; её преимущества предстоит измерять на конкретных задачах и оборудовании.