Android Bench сравнил Sonnet 5.5, GPT-6.1 Sol и Gemini 4 Argon на длительных задачах

26 октября 2026 года Google обновила Android Bench: опубликовала результаты Claude Sonnet 5.5, GPT 6.1 Sol и Gemini 4 Argon и добавила отображение уровня reasoning. Сравнение охватывает 30 длительных задач Android-разработки. Оно оценивает связки моделей с агентными оболочками: Claude Code, Codex и Antigravity SDK соответственно.

В таблице результатов Sonnet 5.5 получил 40% по основной метрике pass rate, GPT 6.1 Sol — 29,3%, Gemini 4 Argon — 21,3%. Первые две модели тестировались с уровнем reasoning max, третья — high. Это измерения Google, организатора бенчмарка и разработчика семейства Gemini.

Результаты и затраты

Модель и агент	Pass rate	Доверительный интервал	Средняя стоимость полного прогона
Claude Sonnet 5.5 — Claude Code	40,0%	24,0–56,0%	1574,9 доллара
GPT 6.1 Sol — Codex	29,3%	15,3–42,7%	99,5 доллара
Gemini 4 Argon — Antigravity SDK	21,3%	10,0–33,3%	267,6 доллара

Интервалы заметно перекрываются, поэтому порядок строк сам по себе не доказывает устойчивого превосходства. Разные оболочки и настройки также не позволяют приписать разрыв исключительно моделям. Для изучения отдельных сценариев на сайте можно открыть карточку участника с результатами по каждой задаче и причинами неудач.

Что считается решённой задачей

Согласно методике Android Bench 2.0, набор включает создание приложений, миграции, новые функции и перенос проектов с Flutter или React Native на нативный Android. Каждая задача выполняется пять раз. Pass rate засчитывает только полное решение с пройденными проверками и соблюдением ограничений; отдельная метрика completion rate отражает частичный прогресс.

Проверка сочетает автоматические тесты с оценкой интерфейса: Gemini 3.5 Flash сопоставляет экраны с эталонами и анализирует дерево доступности. Таким образом, часть оценки зависит от LLM. Сам набор закрыт, что ограничивает независимое воспроизведение сравнения.

Стоимость в таблице относится ко всему набору, а не к одной успешно решённой задаче. Google предупреждает: ранние отказы сокращают расходы и время, поэтому дешёвый прогон не обязательно означает высокую эффективность. Расчёты используют тарифы API на момент выполнения и не являются обещанием цены для пользовательского проекта.

Практический смысл обновления — возможность сопоставить качество, настройки reasoning и расходы конкретных агентных связок перед собственной проверкой. Публикация результатов не устанавливает условия доступа к перечисленным моделям и агентам.