Artificial Analysis обновила Intelligence Index: 60% веса получили тесты с закрытыми заданиями или ответами

27 октября 2026 года Artificial Analysis представила Intelligence Index v5. Теперь 60% веса сводной оценки приходится на тесты с закрытыми заданиями или неопубликованными ответами. Это затрудняет загрязнение оценки обучающими данными, но ограничивает независимое воспроизведение результатов.

Индекс объединяет девять тестов. Работа со знаниями, программирование, наука и общие способности получают по 25% веса. Новые FrontierCode 2.0 и Terminal-Bench-Science занимают по 15% всего индекса.

Что именно проверяют

Согласно методике, FrontierCode 2.0 от Cognition содержит 132 задания на изменения открытых репозиториев. Проверяется пригодность решения для принятия сопровождающим проекта: используются тесты и критерии оценки, а провал любой блокирующей проверки обнуляет попытку. Artificial Analysis выполняет каждое задание трижды в агентной среде Stirrup и усредняет результаты.

Terminal-Bench-Science 0.1.0 включает 70 научных задач в пяти областях. Здесь используется mini-swe-agent, также с тремя повторами; успех засчитывается только при прохождении всех проверок. Поэтому результаты характеризуют модель вместе с конкретной агентной средой.

• HLE-Diamond заменяет Humanity’s Last Exam: 1000 вопросов поровну разделены между рассуждением и знаниями.
• AA-Omniscience v1.1 обновляет вопросы и исправляет неоднозначности; точность даёт 10% индекса, отсутствие галлюцинаций — ещё 5%.
• Для CritPt v2 используется закрытая сложная подвыборка из 40 задач с выполнением кода.
• GDPval-AA v2.1, SciCode и AA-LCR v1.1 исключены из состава.

Как читать результаты

В отчёте о запуске Claude Opus 5.5 получает 35 баллов при low effort и 58 при max; стоимость одной задачи индекса растёт с $0,98 до $10,04. Это измерения Artificial Analysis в её условиях, а не гарантированные расходы приложения. Указанная среди моделей с открытыми весами Kimi K3.1 Pro на дату публикации ещё не имела выпущенных весов.

Смена состава тестов означает, что разницу баллов v4.3 и v5 нельзя напрямую считать изменением способностей модели. Сам индекс преимущественно англоязычный: его итоговая оценка не заменяет проверку качества на русском языке и собственных рабочих задачах.