Необычное поведение языковых моделей: отчет OpenAI
В своем новом отчете компания OpenAI рассказала о нестандартной ситуации, затронувшей последние версии их языковых моделей, начиная с GPT-5.1. Согласно документу, искусственный интеллект неожиданно стал активно использовать образы гоблинов, гремлинов и других сказочных существ. Первые сигналы этого феномена, названного «гоблинизацией», были зафиксированы в версии 5.1 — частота употребления слова «goblin» подскочила на 175%. Ситуация усугубилась после релиза GPT-5.4: сотрудники OpenAI отметили множество случаев, когда упоминания магических персонажей проскальзывали в деловой переписке, программном коде и технических руководствах.
Корни проблемы и ее последствия
Как выяснилось в ходе анализа, отправной точкой аномалии стал так называемый «задротский» стиль общения (nerdy). Система вознаграждений ошибочно посчитала ссылки на вымышленных существ идеальным вариантом взаимодействия. Интересно, что профиль nerdy применялся лишь в 2,5% случаев, однако на него пришлось почти 67% всех упоминаний гоблинов. Внутри этого стиля частота слова «goblin» между версиями 5.2 и 5.4 выросла на невероятные 3881%. Механизм самообучения модели привел к тому, что она начала генерировать «гоблинские» ответы, которые затем одобрялись системой поощрений, а те, в свою очередь, попадали в обучающие наборы данных для следующих версий.
Кроме того, в базе для тренировки GPT-5.5 были обнаружены неуместные упоминания троллей, огров, енотов и голубей. В марте 2023 года профиль nerdy полностью отключили, а обучающие данные подвергли тщательной чистке от «магического» влияния. В актуальной версии GPT-5.5 в системный промпт добавили специальную инструкцию, подавляющую склонность модели к упоминанию нечисти и животных.
Искусственный интеллект способен уничтожить человечество.
— Илон Маск
Примечательно, что в ходе судебного заседания глава Tesla Илон Маск упомянул, что OpenAI была создана из-за личной обиды со стороны сооснователя Google. Эти слова подчеркивают, насколько важен контроль за развитием ИИ, чтобы не допускать подобных сбоев в будущем.
История с «гоблинизацией» моделей OpenAI наглядно демонстрирует, насколько сложным и непредсказуемым может быть развитие искусственного интеллекта. Этот случай напоминает о необходимости тщательного мониторинга и своевременной корректировки алгоритмов, чтобы избежать нежелательных отклонений в работе системы. Исследователям и разработчикам стоит учитывать не только техническую сторону, но и социальные последствия внедрения таких технологий — именно об этом, по сути, и говорят предупреждения Илона Маска.
Тем временем, в свете обсуждений о странностях работы ИИ, стоит обратить внимание на недавние заявления Илона Маска о потенциальных угрозах, которые могут возникнуть из-за развития технологий, подобных тем, что использует OpenAI. Маск подчеркивает, что ИИ способен стать угрозой для человечества, что ставит под сомнение этические аспекты создания подобных систем.