Gemini 4 Argon: отличник в известных тестах, отстающий в новых бенчмарках по коду

Gemini 4 Argon — самая сильная модель, которую Google когда-либо выпускала. Её анонсировали 30 сентября, для всех открыли 13 октября. В таблице, которую опубликовала Google, она получает высшую оценку в 13 тестах из 19, а против Claude Opus 5.5, модели, которая сегодня лидирует в независимых рейтингах, выигрывает в 14 из 18.

Я каждый день работаю с моделями Anthropic, OpenAI и Google и с момента запуска следил за тремя видами доказательств: таблицей Google, тестами независимых организаций и проверками разработчиков, которые давали одно и то же задание Argon и Opus. Сам я Argon на задачах клиентов не запускал. По ходу статьи я помечаю, где факт, а где моё мнение.

Что такое Gemini 4 Argon и почему его открыли только через две недели

Argon — большая модель семейства Gemini 4, рассчитанная на самые сложные рассуждения. Рядом с ней у Google работают отдельные модели: Gemini 3.8 Flash для скорости, Nano Banana для изображений, Omni Flash и Gemini 3.8 TTS для голоса и Lyria для музыки. До сих пор самой сильной моделью Google была Gemini 3.1 Pro, а версию 3.5 Pro, обещанную к июню, по дороге отменили.

30 сентября Google анонсировала Argon, но открыла его только закрытой группе специалистов по киберзащите в рамках программы Fairwind. 13 октября, через 13 дней, модель стала доступна всем:

Источники: анонсы Google (30.09 и 13.10), прайс-лист Gemini API и страница модели для разработчиков. Если термин незнаком, мы объяснили, что такое токен, в отдельной статье.

Где им можно пользоваться сегодня:

• В приложении Gemini: для подписчиков Google AI Pro и Ultra. Бесплатные пользователи его не получают.
• В API, прямом подключении для разработчиков и систем: только на платном тарифе. Бесплатного тарифа нет.
• В инструменте Google для кода, Antigravity: только для подписчиков Ultra.

Официальное объяснение задержки — безопасность. Google написала, что поэтапный запуск нужен, чтобы безопасно выпускать возможности такого уровня, и участвовала в добровольной программе правительства США, которая получает ранний доступ к моделям. В документе о модели она отмечает, что не может исключить, что Argon преодолел критический порог, который она установила для возможностей в кибербезопасности. Что я думаю о задержке — в главе с моим мнением.

Одно, что стоит знать, прежде чем читать дальше: сам Argon выдаёт только текст. В демонстрациях Google изображения сделала Nano Banana, звуки мотора — Omni Flash, озвучку — Gemini 3.8 TTS, а музыку — Lyria. Argon дирижирует ими и пишет код. Сила Google в создании изображений, видео и дизайна принадлежит всему семейству, а не одной модели.

Таблица Google: 13 побед из 19

Google опубликовала таблицу из 19 тестов, где Argon сравнивается с тремя конкурентами: GPT-6 Astra от OpenAI, а также Claude Fable 5.1 и Claude Opus 5.5 от Anthropic. В каждой строке высшая оценка выделена зелёным, а пометкой отмечены строки, где Google прогоняла Argon сама:

На бумаге это явная победа. Но если прочитать документ с методикой измерений, который Google опубликовала вместе с таблицей, три вещи меняют картину.

Первая: часть условий удобна для Argon. В управлении компьютером оценка Argon — лучшая из трёх попыток. В научном тесте в командной строке он получил в 6 раз больше времени на проверку, чем обычно. В понимании видео каждая модель видела разное количество кадров из ролика. Всё это написано в документе, и ничего из этого нет в таблице.

Вторая: двух конкурентов нет. Claude Sonnet 5.5 и GPT-6.1 Sol стоят столько же, сколько Argon по цене запуска, 2 и 10 долларов (у Sol — до 272 тысяч входных токенов), и обоих в таблице нет. Sonnet 5.5 даже получает в индексе Artificial Analysis оценку выше: 56 против 53. Тому, кто выбирает модель по цене, сравнивать Argon нужно именно с ними.

Третья: где Argon проигрывает. Из четырёх тестов по коду он проигрывает в двух: FrontierSWE, где задачи длинные и новые, и Terminal-Bench. Google нигде не написала «лучшая модель в мире», но написала, что Argon «обходит другие ведущие модели в тестах во всех областях». Когда смотришь на код, эта часть не выдерживает проверки.

Что говорят независимые организации

Таблица производителя — это табель, в котором ученик сам выбрал, какие оценки туда вписать и с кем себя сравнить. Чтобы понять, где Argon стоит на самом деле, нужны организации, которые прогоняют все модели в одинаковых условиях. Вот общий индекс одной из них:

В этом индексе Argon ниже Opus 5.5 и Sonnet 5.5 и делит место с GPT-6 Astra и Claude Fable 5.1, которые вышли в начале сентября. Это очень хороший уровень, но не вершина таблицы.

В остальных независимых источниках картина делится по типу работы:

Источники: Arena (30.09), Vals AI (30.09), данные Epoch AI, включающие CursorBench, FrontierCode и APEX-Agents (14.10), Artificial Analysis (14.10).

Закономерность повторяется: в текстах и бизнес-задачах с проверяемым ответом Argon лидирует или близок к вершине. В коде, создании интерфейсов и профессиональных задачах, качество которых оценивают эксперты, он позади. В обоих списках есть новые и закрытые тесты, так что разрыв определяется типом работы. И всё же в красном списке выделяются именно новые тесты по коду.

benchmaxxing: Argon «натаскали на экзамен»?

benchmaxxing — так называют модель, которую обучили блистать именно в известных тестах. Пример: два школьника сдают ЕГЭ на 100 баллов. Один выучил материал, второй прорешал все варианты прошлых лет. На следующем экзамене, с заданиями, которых они не видели, разница между ними проявится. Важно уточнить: это не жульничество. Это решение, куда вкладывать обучение, и в результате модель выглядит в таблице лучше, чем в работе.

30 сентября, в день анонса, агентство Bloomberg сообщило, что сотрудники Google говорят об Argon именно это: в тестах он показывает хорошие оценки, а когда даёшь ему работать — хуже, особенно в дизайне интерфейсов. По данным издания, два человека, знакомые с моделью, сказали, что Gemini 4, «судя по всему, затронута» этим процессом. Google ответила, что «неверно говорить, что Gemini 4 отстаёт в таких областях, как код», и опубликовала внутреннюю цифру: у её инженеров на 35% больше кода, написанного ИИ-агентами, и почти на треть меньше отменённых изменений.

Тест с пеликаном

Тест с пеликаном от Simon Willison — давний неофициальный тест: «нарисуй пеликана на велосипеде» в виде кода SVG-файла. Его получает каждая новая модель, и хороший результат быстро расходится по сети. Argon выдал отличного пеликана за 17 центов.

Сам Willison не утверждает, что Google обучала Argon на пеликане. Но он отмечает, что Google — единственная известная ему лаборатория, сотрудники которой специально вкладывались в SVG-рисунки. В обсуждении на Hacker News часть комментаторов спрашивала, не «сгорел» ли тест. Так происходит с любым знаменитым тестом: как только его знают все, он измеряет меньше.

Моя проверка: в каком месяце находится Argon?

Чтобы проверить своё ощущение, что пеликаны — это ещё не всё, я взял четыре самых новых теста по коду, в которых есть результат Argon, и посмотрел, кого он обходит и кому проигрывает. Дата — это выход модели:

В двух тестах из четырёх, создании сайтов и FrontierCode, Argon ниже Claude Opus 5 конца июля и на уровне моделей середины июля. В FrontierCode он даже ниже Claude Fable 5 из июня. То есть в работе с кодом и дизайне интерфейсов Argon находится там, где лидеры были примерно три месяца назад, и это совпадает с тем, что я вижу в примерах. В двух других тестах он ближе, на уровне сентября.

Что говорит против подозрения

Не все доказательства указывают в одну сторону:

• Arena — тест, к которому очень трудно натаскать модель. Вопросы каждый день заново пишут люди, и Argon там первый по тексту. С другой стороны, Arena измеряет, что людям приятнее читать, и модель может научиться писать ответы, которые приятно выбирать. Исследователь Teortaxes написал, что Argon, возможно, «подогнан под данные о предпочтениях» и что в тестах, к которым натаскать труднее, его оценки впечатляют.
• В новых тестах не по коду Argon силён. Он первый в APEX-Agents (задачи аналитиков и консультантов) и в Blueprint-Bench 2 (пространственное мышление), а в Vending-Bench 2 (управление симулированным бизнесом) обходит Opus 5.5, хотя и не GPT-6 Astra.
• Leon Lin, проверявший Argon до запуска, написал, что он «не так benchmaxxed, как думают многие», и в том же твите — что он слаб в интерфейсах и анимации и что у него «нет вкуса».

Твит Leon Lin в X, 13 октября 2026 года

Мой вывод из данных: benchmaxxing не покрывает всю модель. Он объясняет в основном разрыв между заявлениями Google о коде и тем, что происходит в новых тестах по коду и в реальной работе. В текстах и бизнес-задачах с понятным ответом Argon действительно силён, в том числе в тестах, к которым трудно натаскать.

Примеры из практики: Argon против Opus 5.5

В первые сутки разработчики давали обеим моделям одно и то же задание. Вот две проверки в пользу Argon, одна в пользу Opus и одно сообщение о лимите использования.

Лавовая лампа: 18 центов против 1,27 доллара. BridgeMind даёт каждой модели постоянное задание: собрать лавовую лампу в 3D. Argon справился меньше чем за две минуты, за 18 центов, с чистым стеклом и настоящей лавой. Opus 5.5 работал девять с половиной минут и обошёлся в 1,27 доллара.

Твит и видео BridgeMind в X, 13 октября 2026 года

Одно и то же задание: 1,2 против 8,2 доллара. Разработчик J A Z I I дал обеим моделям одно и то же задание на максимальном уровне рассуждений. По его словам, результаты вышли «почти одинаковыми», а Argon обошёлся в 15% от этой суммы.

Твит и видео со сравнением от notjazii в X, 13 октября 2026 года

Код и агентная работа: Opus впереди. Дизайнер jumperz написал, что его впечатлило, как Argon справляется с визуалом и сложными документами, но в коде и агентной работе «Opus всё ещё сильно впереди», и это недостаточно большой скачок.

Твит jumperz в X, 13 октября 2026 года

Недельный лимит за полчаса. ashen_one провёл три простые проверки, включая клон Minecraft, и написал, что результаты «не впечатляют», а проверки за 30 минут исчерпали весь его недельный лимит в подписке за 100 долларов в месяц. И для тех, кто думает о подписке: Google не опубликовала, сколько использования Argon входит в каждый тариф.

Твит ashen_one в X, 13 октября 2026 года

На Hacker News, в ветке о запуске, картина похожая. Несколько комментаторов написали, что Opus 5.5 — «лучшая модель для кода по общему мнению», а другие хвалили Argon за ясные и прямые рассуждения и скорость. Часть сообщала о сбоях в первый день: бесконечных циклах рассуждений и ошибках сервера.

Сколько Argon стоит на самом деле: пятая часть, треть или как Opus

Утверждение, что Argon делает ту же работу за пятую часть цены Opus, верно лишь в части случаев. Всё зависит от типа задачи и от даты:

Из графика следуют три вещи:

• В разовой визуальной сборке разрыв большой. В двух проверках Argon стоил примерно седьмую часть от Opus, а в третьей, от OhMyUnicorn, около 60%. Argon быстро заканчивает и останавливается. Opus продолжает шлифовать, и в проверке OhMyUnicorn он трижды проверил собранную страницу.
• В широкой работе Argon стоит примерно треть по цене запуска и от половины до двух третей по декабрьской цене. Opus там измерен на дорогом уровне Max. По данным Artificial Analysis, экономия идёт в основном от низкой цены за токен. Argon расходует около 62 тысяч выходных токенов на задачу — вдвое меньше, чем Opus, но в 2,3 раза больше, чем GPT-6 Astra.
• В сложном коде экономия может исчезнуть. В CursorBench Argon стоил 4,57 доллара за задачу против 3,97 у Opus 5.5 на сопоставимом уровне рассуждений. Сама Cursor написала, что в этом тесте Argon «на уровне Opus 5.5», и по оценке он действительно близок, примерно на 3 балла ниже.

И дата, которую стоит отметить: 30 ноября. До неё Argon стоит 2 доллара за миллион входных токенов и 10 за миллион выходных, как Claude Sonnet 5.5 и GPT-6.1 Sol. С 1 декабря цена вырастает до 4 и 20, ровно как у Opus 5.5. Кто сегодня строит процесс на Argon из-за цены, должен уже сейчас считать его по декабрьской цене.

Где Google действительно лидирует

Это не статья против Google. Есть области, в которых, по-моему, Google особенно сильна, и для большинства бизнесов они важнее тестов по коду:

Моё мнение: почему Google со всеми её ресурсами всё ещё позади

Здесь я перехожу от фактов к интерпретации.

Argon — настоящее улучшение, и я не думаю, что Google солгала. Но я считаю, что она представила его как модель, которая лидирует в мире, а это не так. И лично у меня, когда компания показывает цифры, которые не выдерживают практики, доверие падает. Следующую таблицу Google я начну читать с документа о методике измерений и только потом посмотрю на саму таблицу.

Я верю в Google. У неё есть исследователи, чипы, данные и миллиарды пользователей. Именно поэтому стоит спросить, почему она всё ещё позади. Мой ответ: Google — публичная компания в новой и рискованной области.

• Давление показывать результаты. У Alphabet есть обязательства перед инвесторами, и каждый запуск оценивает ещё и биржа. По данным Bloomberg, акции выросли примерно на 1,7% на торгах после анонса и растеряли часть роста после сообщения о скепсисе сотрудников. Когда рынок реагирует на таблицу, появляется сильный стимул выбирать тесты и конкурентов, которые ей льстят.
• Меньше свободы действовать быстро. Как подписчик, я видел, как Anthropic и OpenAI несколько раз меняли объём использования, который получает каждый подписчик. В июне против Anthropic подали иск, который добивается статуса коллективного, с утверждением, что лимиты использования в подписках Max ниже заявленных. Эти претензии ещё не рассмотрены. По-моему, для публичной компании масштаба Google такой шаг может обернуться коллективным иском на миллиарды, поэтому каждый её шаг скован сильнее. Я полагаю, что та же осторожность действует и в безопасности.
• Безопасность. Google сначала открыла Argon закрытой группе специалистов по киберзащите. В такой области, как кибербезопасность, это верное решение, но оно стоит времени, а конкуренты поменьше двигаются быстрее.

О двухнедельной задержке у меня есть ещё одна гипотеза: первая группа, работавшая с моделью, увидела, что результаты на практике хуже, чем обещает таблица. Источника у меня на это нет. Официальное объяснение Google — только безопасность, и это моё ощущение, а не факт. Что задокументировано: Gemini 3.5 Pro, обещанную к июню, отменили, а сотрудники Google сказали Bloomberg, что в работе Argon слабее, чем в тестах. Это сообщение вышло в день анонса, поэтому саму задержку оно не объясняет.

Где Argon в Sigma AI Ranking

Argon попал в Sigma AI Ranking 13 октября с пометкой «предварительная оценка», потому что его измерил только один источник — Arena. В обновлении 14 октября добавились цена, тест знаний Epoch AI и полные рейтинги Arena, и он получил полную оценку. Результат, вероятно, удивит тех, кто дочитал до этого места:

Argon на втором месте, в 0,9 балла от Opus 5.5, и по нашим правилам это ничья на вершине. Мы не меняли метод, чтобы результат совпал с моим мнением, поэтому важно объяснить, что стоит за цифрой:

• Оценки за тексты и надёжность берутся из Arena. Там Argon первый, потому что людям больше нравятся его ответы. Это его настоящая сила, и именно здесь уместно подозрение в «подгонке под данные о предпочтениях».
• Его оценка как агента — расчётная. У Argon пока нет результата в Terminal-Bench, нашем главном источнике по агентной работе и коду, поэтому оценка рассчитана по смежным источникам и отмечена на странице знаком ≈. Его оценка общих способностей тоже расчётная, потому что Epoch AI ещё не опубликовала для него свой общий индекс. Ни один из новых тестов по коду из главы о benchmaxxing в расчёт не вошёл, потому что у них нет открытой лицензии.
• В расчёте — цена запуска. Рейтинг считает стоимость по текущей цене, 2 и 10 долларов. По моему расчёту, 1 декабря, когда цена удвоится, Argon опустится примерно до 88,3 и выйдет из ничьей.

Иными словами, Sigma показывает ровно то, что описывает статья: в источниках, которые измеряют тексты, знания и цену, Argon наверху, а его слабое место там, куда открытые источники пока не дотягиваются. Когда появится результат в Terminal-Bench, оценка обновится. Зачем мы построили собственный рейтинг и почему он опирается только на открытые источники, мы объяснили в статье о Sigma AI Ranking.

Кому Gemini 4 Argon подходит, а кому пока нет

Argon или Opus 5.5 для вашей следующей задачи?

Пять вопросов об одной задаче, которую вы обдумываете. Получив результат, запустите задачу один раз на обеих моделях и проверьте счёт.

Задача в основном про тексты, резюме или работу с документами, а не про разработку ПО?

Да Нет

Вам достаточно хорошего результата, даже без высшей степени шлифовки?

Да Нет

В задаче нет создания интерфейса, сайта или анимации?

Да Нет

Задача на языке, отличном от английского, например на русском?

Да Нет

Задача повторяется много раз, так что стоимость каждого запуска для вас важна?

Да Нет

Ответьте на все вопросы, чтобы увидеть результат.

Четыре утверждения об Argon и что из них правда

Что это значит для владельца бизнеса

Три практических вывода:

• Сейчас есть три сильные модели за половину цены токена Opus: Claude Sonnet 5.5 и GPT-6.1 Sol постоянно, а Argon до конца ноября. Для задач с текстами, документами и обслуживанием клиентов на языках кроме английского Argon — серьёзный кандидат. Сейчас самое время его проверить.
• Модель не выбирают по таблице производителя. Читайте, кто измерял каждую строку и в каких условиях, и проверяйте на одной своей реальной задаче, с секундомером и со счётом. Я писал об этом и в статье о Muse Wonder от Meta: там таблица производителя тоже рассказала другую историю, чем проверки на практике.
• Модель выбирают под задачу, а не под компанию. За три месяца лидирующий инструмент сменился дважды, как я описал в статье о возвращении Anthropic. Хороший агент может работать с Argon на текстах и с Opus на коде.

Platin Digital — OpenAI Select Partner. Агентов, которых мы запускаем, мы строим на тех моделях и инструментах, которые лучше всего подходят конкретному бизнесу: OpenAI, Anthropic, Google и других. Argon мы сейчас тестируем на текстах и на работе на языках кроме английского. Для кода и работы, где всё решает качество, я пока остаюсь с Opus 5.5.

Что почитать дальше: Gemini at Work 2026: агент Google для бизнеса, ChatGPT, Gemini или Claude для бизнеса и зачем мы построили Sigma AI Ranking.

Частые вопросы

Источники

• https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/
• https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon/
• https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-4-argon/
• https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-4-Argon-Model-Card.pdf
• https://storage.googleapis.com/deepmind-media/gemini/gemini_4_argon_model_evaluation.pdf
• https://storage.googleapis.com/deepmind-media/gemini/gemini_4_safety_report.pdf
• https://ai.google.dev/gemini-api/docs/pricing
• https://ai.google.dev/gemini-api/docs/models/gemini-4-argon
• https://gemini.google/release-notes/
• https://platform.claude.com/docs/en/about-claude/pricing
• https://developers.openai.com/api/docs/pricing
• https://artificialanalysis.ai/articles/gemini-4-argon-google-top-three-labs
• https://artificialanalysis.ai/models/comparisons/gemini-4-argon-vs-claude-opus-5-5
• https://x.com/ArtificialAnlys/status/2105392625788637299
• https://www.vals.ai/models/google_gemini-4-argon
• https://epoch.ai/data/benchmark_data.zip
• https://cursor.com/cursorbench
• https://www.frontierswe.com/
• https://cognition.com/frontiercode
• https://x.com/arena/status/2105394855644139908
• https://simonwillison.net/2026/Oct/13/llm-gemini/
• https://news.ycombinator.com/item?id=50073879
• https://x.com/bridgemindai/status/2110050421184360718
• https://x.com/notjazii/status/2110073240404271335
• https://x.com/jumperz/status/2110064835270689125
• https://x.com/LexnLin/status/2110057390259290540
• https://x.com/ashen_one/status/2110055018191565201
• https://x.com/bindureddy/status/2110038264463987088
• https://x.com/cursor_ai/status/2110087611763368271
• https://x.com/teortaxesTex/status/2105455812915433849
• https://ohmyunicorn.com/labs/dream-loop/planet-argon/
• https://andonlabs.com/evals/blueprint-bench-2
• https://artificialanalysis.ai/evaluations/omniscience
• https://www.thestar.com.my/tech/tech-news/2026/10/02/google-grapples-with-employee-scepticism-about-new-gemini-4
• https://venturebeat.com/technology/google-unveils-gemini-4-argon-retaking-benchmark-lead-over-openai-and-anthropic-but-in-limited-release
• https://www.khaleejtimes.com/business/google-announces-gemini-4-flagship-ai-model-after-months-of-delays-2
• https://www.techzine.eu/news/applications/144960/opinions-are-divided-on-gemini-4-argon/
• https://www.engadget.com/2194626/anthropic-hit-with-lawsuit-over-its-claude-max-usage-limits/