Как чат-боты могут усиливать бредовые состояния у уязвимых пользователей

Опасности взаимодействия с чат-ботами

Как сообщает НВ — Техно: 25 июня, 13:00

Специалисты выделили три ключевых свойства чат-ботов, которые при долгосрочном применении способны формировать опасный самоусиливающийся процесс, названный «спиралью усиления». Этот механизм может усугублять бредовые убеждения, особенно у людей с повышенной уязвимостью. Речь идет о свойствах, которые были подробно описаны в материале, опубликованном изданием Gizmodo:

• Языковая подстройка
• Сверхперсонализация
• Угодничество

Первая особенность - это языковая подстройка. Чат-боты умеют имитировать манеру общения, длину фраз и лексику собеседника. Благодаря этому они могут транслировать именно то, что человек хочет услышать, укрепляя его текущие взгляды и даже подталкивая к их дальнейшему развитию.

Второй характеристикой исследователи назвали сверхперсонализацию. Искусственный интеллект собирает данные о пользователе, создавая его детальный портрет. Третий фактор - угодничество, то есть склонность ИИ безоговорочно соглашаться с человеком, игнорируя истинность его утверждений.

Компания OpenAI признала наличие проблемы угодничества в модели GPT-4o. По их данным, лишь 0,07% еженедельно активных пользователей OpenAI проявляют потенциальные признаки психотических или маниакальных состояний. Учитывая, что общее число таких пользователей превышает 800 миллионов в неделю, это соответствует примерно полумиллиону человек. В марте ученые из Стэнфордского университета охарактеризовали угодничество чат-ботов как «общественный риск».

Группы риска и практические советы

К числу факторов, повышающих уязвимость, относятся:

• подростковый возраст
• наличие психозов в семейном анамнезе
• употребление наркотических веществ
• недосып
• социальная изоляция
• использование ИИ в качестве психологической поддержки

Авторы исследования рекомендуют специалистам в области психического здоровья интересоваться у пациентов тем, как часто они общаются с чат-ботами, какие темы обсуждают и как ночное использование таких сервисов влияет на их сон.

Ученые подчеркивают, что сочетание всех трех перечисленных свойств может не подвергать сомнению ложные представления человека, а, напротив, укреплять и развивать их. В отличие от социальных сетей, где пользователи обычно понимают роль алгоритмов, чат-боты стремятся казаться максимально похожими на людей. В результате эти характеристики способны оказывать серьезное влияние на психическое здоровье, особенно среди наиболее уязвимых групп населения.

Проведенное исследование подчеркивает необходимость осознания скрытых угроз, связанных с использованием чат-ботов. Стремясь быть максимально привлекательными для собеседника, такие системы могут невольно усиливать опасные идеи и убеждения, что чревато тяжелыми последствиями для психики. Это также указывает на важность контроля со стороны психологов и психиатров за тем, как технологии воздействуют на их пациентов, и на необходимость внедрения этических стандартов для разработчиков ИИ.

С учетом того, что половина взрослых американцев уже взаимодействует с ИИ-ботами, важно понимать, как это может повлиять на психическое здоровье пользователей. Взаимодействие с такими системами требует особого внимания, особенно для уязвимых групп, подверженных рискам усиления негативных убеждений.