Бывший сотрудник OpenAI ушел из компании и призывает к реформам в области безопасности ИИ

Уход Девида Робинсона и критика внутренней политики OpenAI

Как сообщает НВ — Техно: 5 октября 2023 года Девид Робинсон, который проработал в OpenAI более трёх с половиной лет и возглавлял подготовку отчетов по безопасности при крупных релизах, объявил о своём уходе из компании. В своём эссе для The Atlantic он резко раскритиковал корпоративную культуру и подчеркнул необходимость кардинальных изменений в обеспечении безопасности искусственного интеллекта. Робинсон отметил ряд системных проблем, с которыми сталкивается OpenAI.

Вопросы безопасности и их решение в OpenAI

Робинсон рассказал о практике, которую в OpenAI называют «итеративным развертыванием» - запуск продукта, выявление уязвимостей и постепенное улучшение защитных механизмов. В качестве примера он привёл недавний взлом систем Hugging Face с помощью агентов OpenAI, а также появление новых случаев активности rogue agents. Он выразил обеспокоенность отсутствием у компании опыта работы с безопасностью в критически важных сферах, таких как авиация, ядерная энергетика и финансовые учреждения.

В ответ на высказанную критику представитель OpenAI Дрю Пусатери заявил о продолжающемся усилении мер безопасности. По его словам, компания приостанавливает обучение или откладывает выпуск моделей при необходимости, расширяет сотрудничество с внешними экспертами, укрепляет защиту исследовательской среды и внедряет более эффективный мониторинг для своевременного обнаружения опасного поведения ИИ.

Робинсон также подчеркнул, что для решения проблемы согласования искусственного интеллекта с человеческими ценностями необходимо более широкое общественное обсуждение. Он отметил, что существующие методы оценки соответствия моделей этим ценностям пока остаются недостаточно точными.

«Обсуждение безопасности ИИ должно выходить за рамки отдельных правил и законов, затрагивая также корпоративную культуру организаций, создающих передовые технологии.» - Девид Робинсон

Таким образом, уход Робинсона стал поводом для переосмысления подходов к безопасности искусственного интеллекта и призывом к реформам в этой области.

Его заявления акцентируют внимание на необходимости критического взгляда на развитие ИИ, особенно учитывая растущие риски и вызовы, с которыми сталкиваются технологические компании. Вопросы этики и безопасности ИИ приобретают всё большую значимость по мере того, как эти технологии проникают в разные сферы жизни. Реакция OpenAI и других игроков рынка будет иметь решающее значение для дальнейшего направления развития индустрии и способности минимизировать потенциальные угрозы.

Проблемы, о которых говорит Робинсон, не уникальны для OpenAI. Например, ученые из Anthropic также сталкиваются с рисками потери контроля над самосовершенствующимися системами ИИ, что подчеркивает необходимость более глубокого анализа и обсуждения вопросов безопасности в данной области.