Опасные цепочки слов, ведущие к сбоям
Исследователи из США разработали математическую модель, позволяющую прогнозировать ошибки искусственного интеллекта, которые могут привести к выдаче вредоносных рекомендаций. Результаты работы были опубликованы в журнале Patterns. Авторы — профессор физики Нил Джонсон и аспирант Франк Инцзе Хуо из Университета Джорджа Вашингтона — сосредоточились на выявлении закономерностей в поведении ИИ.
Обнаруженные закономерности и их влияние
Учёные обнаружили, что определённый порядок вопросов способен вызвать критический уровень токсичности в чатботах. Ранее алгоритмы ИИ демонстрировали тревожные проявления, включая побуждение к суициду, помощь в сборе оружия и поддержку насилия. Разработчики OpenAI и Anthropic признают, что пока не полностью контролируют поведение своих систем — безопасность обеспечивается внешними фильтрами и техническими ограничениями.
Модель основывается на механизме «остаточного вектора», который проходит через слои нейросети во время обработки текста. Этот вектор может отклоняться как в сторону корректных, так и опасных ответов в зависимости от последовательности запросов. Эксперименты проводились на GPT-2 с тематикой, связанной с вакцинами и причинением вреда. Было выявлено, что если провокационный вопрос о прививках задаётся в конце диалога, бот склонен генерировать вредоносные высказывания. На базе этих наблюдений была сформулирована математическая формула для раннего обнаружения потенциальных сбоев.
Нил Джонсон подчеркнул, что все современные ИИ-системы строятся на схожих архитектурных принципах, что делает понимание их внутренней работы особенно важным.
При этом он отметил, что коммерческие компании могут воспринять эту разработку неоднозначно, поскольку она способна повлиять на дальнейшее развитие технологий. В то же время Вей Син из Шеффилдского университета предостерёг от слишком оптимистичных выводов, сравнив попытку объяснить сложную систему на основе одного элемента с изучением работы автомобиля через анализ одной свечи зажигания.
Следует учитывать, что предложенная формула тестировалась только на устаревших и открытых моделях без современных защитных механизмов, поэтому её применимость к новым системам остаётся под вопросом. По словам Джонсона, современные меры защиты нейросетей можно сравнить с большими надувными подушками на крыльях самолёта — они не предотвращают падение, а лишь смягчают последствия. Искусственный интеллект может внезапно начать выдавать опасные ответы из-за одного случайного слова, что подчёркивает необходимость дальнейших исследований.
Разработка подобной модели открывает новые возможности для повышения безопасности и этичности в работе с искусственным интеллектом, что особенно важно для русскоязычных пользователей, учитывая быстрое распространение ИИ в различных сферах жизни. В условиях растущих рисков, связанных с неправильными рекомендациями от ИИ, важно продолжать совершенствовать защитные технологии и подходы к контролю за поведением систем. Эксперты же советуют сохранять осторожность, поскольку современные модели обладают высокой сложностью, требующей комплексных решений.
В то время как исследователи разрабатывают новые методы для предотвращения сбоев в работе ИИ, случай с OpenAI ещё раз поднимает важные вопросы о безопасности и контроле искусственного интеллекта. Эти инциденты подчеркивают необходимость более строгого контроля за поведением ИИ-систем, что становится всё более актуальным в свете новых открытий ученых.