Представлення моделі Gemini 4 Carbon
29 жовтня о 18:32 компанія Google представила модель штучного інтелекту Gemini 4 Carbon. Ця модель здатна виявляти вразливості в програмному забезпеченні, створювати виправлення та виконувати складні інженерні завдання протягом тривалого часу. Gemini 4 Carbon продемонструвала високі результати у трьох тестах: SEC-bench Pro, CWE-bench та ExploitGym, перевершуючи своїх конкурентів. Модель також має вдосконалені захисні механізми.
Результати тестування
У тесті SEC-bench Pro, який оцінює здатність штучного інтелекту знаходити вразливості в реальному програмному забезпеченні, Gemini 4 Carbon отримала 88,2%. У CWE-bench, що перевіряє вміння виправляти недоліки безпеки, модель показала результат 71%. У тесті ExploitGym, який оцінює можливість підтвердити вразливості контрольованими спробами їх використання, результат склав 54,8%. Gemini 4 Carbon перевершила конкурентні моделі в усіх трьох тестах.
Згідно з внутрішніми перевірками, Gemini 4 Carbon більш ніж удвічі підвищила успішність створення захищеного коду порівняно з попередньою моделлю Gemini 4 Argon. За даними команди Chrome, Carbon більш ніж удесятеро перевершила іншу передову модель за якістю створення виправлень для усунення вразливостей. Gemini 4 Carbon розрахована на тривалу автономну роботу, може виконувати багатоетапні завдання, використовувати різні інструменти, шукати причини програмних помилок і розробляти виправлення для великих кодових баз. Модель працювала над складними інженерними проблемами протягом кількох днів, за спостереженнями команд Google.
Gemini 4 Carbon зайняла перше місце у версії 5.0 Artificial Analysis Intelligence Index з результатом 59 балів. У WebDev Arena рейтинг моделі зріс на 89 балів Elo до 1768, що забезпечило четверте місце в рейтингу. Модель також показала покращення у наукових завданнях, роботі з різними типами даних і розробці вебзастосунків. У внутрішніх тестах кількість непідтверджених тверджень моделі скоротилася приблизно вдвічі порівняно з Argon, а кількість попереджень про серйозні проблеми з узгодженістю поведінки знизилася майже на 80% у середовищах програмування, які використовували команди Google. У тесті Gray Swan на стійкість до непрямих атак через підказки Gemini 4 Carbon показала 0% успішних атак, тоді як Argon - 0,7%.
Спочатку доступ до моделі Gemini 4 Carbon отримають обмежена група фахівців із кібербезпеки, з подальшим розширенням доступу до інших довірених партнерів у межах програми Fairwind. Google також бере участь у добровільному процесі попереднього тестування моделей урядом США. Ширший доступ для розробників, бізнесу та користувачів планують відкрити пізніше, проте конкретної дати наразі немає. Вартість використання Gemini 4 Carbon на початковому етапі становитиме 2 долари за мільйон вхідних токенів і 10 доларів за мільйон вихідних токенів, при цьому для кешованих вхідних токенів передбачена знижка 95%. Обмежений запуск пов’язаний із подвійним призначенням технології, яка може як допомагати знаходити й усувати проблеми безпеки, так і використовуватися для атак.
Модель Gemini 4 Carbon від Google представляє значний крок у розвитку штучного інтелекту, зокрема в сфері кібербезпеки. Її можливості виявлення та виправлення вразливостей роблять її важливим інструментом для захисту програмного забезпечення.
Окрім новинок у сфері безпеки, варто звернути увагу на інші ініціативи Google у розробці штучного інтелекту. Наприклад, новий ШІ-агент Gemini демонструє можливості автоматичного планування та інтеграції з корпоративними системами, що може суттєво підвищити ефективність роботи компаній.