Индивидуальные ИИ-ассистенты и их возможности
Персональные агенты искусственного интеллекта, такие как Muse от компании Meta, собирают обширные сведения о пользователях и их окружении, включая близких, друзей и коллег. Muse функционирует на облачной платформе, имея доступ к банковской информации, медицинским данным и сообщениям пользователей. Однако обнаруженные уязвимости в системе создают риски утечки этих данных. В ответ на возникающие проблемы Apple предпринимает меры по ужесточению контроля доступа и снижению угроз для приватности, связанных с использованием подобных ИИ-агентов.
Устройство и безопасность хранения данных
Компания Meta, владеющая такими соцсетями, как Facebook и Instagram, разработала Muse — ИИ-агента, работающего в облаке. Он получает доступ к банковским счетам, сообщениям и медицинской информации пользователей. Внутренние инструкции Muse предусматривают создание профилей не только самого пользователя, но и его родственников, партнёров и знакомых, что вызывает вопросы о безопасности личных данных. Информация о других людях может поступать от самого пользователя, а также из разговоров или подключённых источников. Исследователь Питер Джеймс изучил файловую систему своего Muse и подробно описал устройство хранения данных.
Память помощника представляет собой набор текстовых файлов с данными о пользователе, его ежедневных записях, обстоятельствах, опыте и предпочтениях. Фоновый процесс каждые 60 минут обновляет сведения, добавляя ссылки на подтверждающие источники. Информация сохраняется в поисковой базе с указанием источника, уровня достоверности и статуса утверждения. Новые записи могут заменять старые без необходимости повторного обучения модели. В сентябре 2026 года эксперт по безопасности macOS Патрик Вордл выявил уязвимость в Muse, позволяющую изменить адрес голосового сервера и перехватить токен доступа. После публикации на Ars Technica Meta быстро устранила данный недостаток.
Apple в своей документации предупредила о рисках косвенного внедрения вредоносных инструкций, что может привести к нежелательным действиям со стороны ИИ-ассистента, включая финансовые потери и удаление информации. Для контроля действий Muse Meta внедрила систему Sentinel, отслеживающую операции и сетевые запросы. Компания утверждает, что разговоры и данные виртуальной машины Muse не используются в рекламных целях. Тем не менее, в сентябрьском отчёте Meta подтвердила, что имеет доступ к информации для поддержки, защиты и обслуживания сервиса.
2 октября 2026 года Apple объявила о нововведениях в системе Full Disk Access на macOS, ограничивающих доступ приложений к файловой системе. Новые механизмы требуют явного разрешения пользователя для доступа к данным. На конференции WWDC26 представители Apple подробно рассказали о способах удаления персональных сведений перед передачей в модель и контроле выполнения потенциально опасных операций. Карисса Велиз отметила:
“мы предоставляем ИИ-системам намного больше информации о себе, чем получаем взамен”. Патрик Вордл добавил:
“мы можем манипулировать агентом и использовать его полномочия для выполнения любых действий”. Apple также подчеркнула, что по мере роста автономности и возможностей ИИ-агентов значительно увеличиваются риски, связанные с доступом к данным.
Данная ситуация подчёркивает необходимость строгого контроля над персональными данными и ограничений доступа в условиях стремительного развития технологий искусственного интеллекта. Уязвимости в подобных системах, как Muse, ставят под угрозу не только конфиденциальность отдельных пользователей, но и безопасность цифровой среды в целом. Усилия Apple по ужесточению контроля свидетельствуют о росте потребности в жёстком регулировании обработки личных данных в эпоху новых технологий.
В то время как Meta активно развивает возможности своего ИИ-агента, важно отметить, что компания также сталкивается с вызовами в сфере соблюдения правил платформ. Недавно Meta ограничила функции Muse на Amazon из-за нарушений, что подчеркивает необходимость строгого контроля за использованием технологий ИИ и защиты пользовательских данных.