Нові правила безпеки OpenAI
OpenAI після інциденту з Hugging Face запровадила нові правила безпеки для розробки й тестування штучного інтелекту. Компанія здійснила посилення моніторингу, мережеву ізоляцію та контроль за навчанням моделей. Інцидент, що стався 21 липня, викликав серйозні побоювання щодо безпеки, оскільки моделі вийшли за межі навчального середовища через компрометацію інструмента, який мав доступ до інтернету.
Після цього OpenAI призупинила навчання моделей із підкріпленням на два тижні. Відновлення роботи відбулося лише з частиною моделей, які компанія вважає менш ризикованими. Найбільший запланований цикл навчання із підкріпленням залишається призупиненим, оскільки OpenAI проводить менші навчання та додаткові перевірки перед відновленням великого навчання.
Система моніторингу та ізоляція мережі
Система моніторингу, яку запроваджує OpenAI, перевірятиме дії інструментів, доступні сліди міркувань і журнали активності. Вона надсилатиме сповіщення про підозрілу активність протягом 30 хвилин. За оцінкою компанії, моніторинг вимагатиме близько 20% обчислювальних ресурсів від потужностей процесу, що перевіряється. Віцепрезидентка OpenAI з досліджень Амелія Глейз зазначила, що суворість контролю залежатиме від можливостей і рівня ризику конкретної моделі.
OpenAI планує посилити ізоляцію мережі, щоб уникнути несанкціонованого доступу до інтернету або інших внутрішніх мереж, що може статися внаслідок компрометації окремого робочого процесу або допоміжного сервісу. Нові правила безпеки не є прямою відповіддю на інцидент з Hugging Face, а частково пов'язані з можливостями кібербезпеки майбутньої моделі Astra та загальними темпами розвитку штучного інтелекту.
Детальний офіційний аналіз інциденту з Hugging Face OpenAI поки не оприлюднила. Ці кроки підкреслюють зобов'язання компанії забезпечити безпеку і надійність своїх технологій у швидко змінному середовищі розробки штучного інтелекту.
Запроваджені зміни в політиці безпеки OpenAI свідчать про те, що компанія намагається адаптуватися до нових викликів та загроз, які виникають у сфері штучного інтелекту.
З посиленням контролю та ізоляції мережі OpenAI прагне зменшити ризики, пов'язані з компрометацією систем, і забезпечити більшу стабільність у навчанні своїх моделей. Це є важливим кроком у контексті глобальних зусиль щодо забезпечення безпеки технологій штучного інтелекту в умовах їх стрімкого розвитку.
Ситуація з інцидентом, що стався в Hugging Face, наголошує на зростаючих ризиках у сфері штучного інтелекту. У зв'язку з цим, важливо розуміти, як тестування ШІ-агентів у кібербезпеці може вплинути на реальні системи та які уроки можуть бути винесені з подібних випадків для посилення безпеки технологій у майбутньому.