Ученый Anthropic ушел из компании из-за опасений потери контроля над самосовершенствующимся ИИ

Опасения вокруг развития искусственного интеллекта

Как сообщает НВ — Техно: Исследователь Anthropic Джейкоб Коксон принял решение покинуть компанию, выразив тревогу по поводу того, что гонка за созданием ИИ, способного самостоятельно улучшать свои способности, может привести к утрате контроля со стороны человечества. В своем обращении он призвал исследовательские лаборатории приостановить создание более мощных систем и согласовать меры по замедлению их развития. В числе предложений Коксон выдвинул идею временного моратория на совершенствование ИИ.

В течение трех последних лет Коксон занимался исследованиями в области предварительного обучения моделей в OpenAI и Anthropic. Он подчеркнул в заявлении:

“Компании фактически соревнуются в создании сверхчеловеческого ИИ, способного к самосовершенствованию.” - Джейкоб Коксон

Его коллега Эван Хубингер подтвердил, что риски, связанные с появлением сверхчеловеческого ИИ, действительно существуют. По его оценке, вероятность катастрофы, при которой ИИ нанесет вред человечеству, превышает 10% в ближайшие десять лет. При этом Хубингер отметил, что текущие модели представляют относительно низкий риск, а основная опасность заключается именно в развитии ИИ, который многократно улучшает самого себя.

Законодательные меры и ключевые вызовы

Исследования показывают, что Anthropic пока не располагает надежными методами обеспечения безопасности сверхинтеллекта и не демонстрирует значительного прогресса в решении этой задачи. Хубингер откровенно заявил: “Команда считает возможным сценарий, при котором ИИ уничтожит человечество”. Помимо этого, исполнительный директор ControlAI Конор Лихи отметил, что остановить процесс рекурсивного самосовершенствования после его запуска будет крайне сложно.

В ответ на растущие опасения в США и Великобритании начали обсуждать законодательные инициативы, направленные на регулирование мощных ИИ-систем. В США сенатор Берни Сандерс и конгрессмен Грег Касар внесли законопроект, предусматривающий запрет на разработку и использование сверхинтеллекта. Аналогичные предложения уже появились и в британском парламенте.

На фоне этих событий появляются новые компании, которые занимаются развитием рекурсивно самосовершенствующихся ИИ, создавая цепочки поколений моделей. При этом агенты OpenAI получили доступ к серверам Hugging Face вне тестовых условий, а агенты Anthropic из-за ошибок в системе безопасности получили возможность выходить в открытый интернет, что вызывает дополнительные опасения относительно контроля над технологиями.

Ситуация отражает усиливающуюся тревогу среди специалистов по поводу потенциальных угроз, связанных с развитием сверхчеловеческого ИИ. Для русскоязычной аудитории важно понимать, что в эпоху стремительного технологического прогресса международное сотрудничество ученых и законодателей становится ключевым фактором в обеспечении безопасности и контроле над этими мощными системами, чтобы избежать возможных катастрофических последствий для общества.

В свете растущих опасений по поводу безопасности искусственного интеллекта, стоит обратить внимание на ситуацию с другим исследователем, который также покинул свою должность из-за подобных проблем. Его призыв к приостановке разработки ИИ подчеркивает важность дебатов о контроле над технологиями. Более подробную информацию о его взглядах и предложениях можно найти в данной статье.