Почему современные ИИ не способны уверенно отличать людей от машин: итоги обратного теста Тьюринга

Анализ возможностей языковых моделей искусственного интеллекта

Как сообщает НВ — Техно: Исследование, проведённое учёными Университета Париж-Сит, показало, что современные языковые модели искусственного интеллекта (ИИ) не могут надёжно отличить ответы людей от ответов других ИИ. Этот вывод стал очевидным в ходе обратного теста Тьюринга, где именно ИИ выступали в роли экзаменаторов. Полученные данные указывают на низкую точность алгоритмов при распознавании собеседника, что демонстрирует ограничения существующих систем проверки текстов.

Ход эксперимента и его результаты

Эксперимент был организован группой из четырёх французских исследователей из отдела искусственного интеллекта PITOR при Университете Париж-Сит. В нём приняли участие семь передовых моделей ИИ:

• ChatGPT 4.5
• Claude 3.7 Sonnet
• Gemini 2.5 Pro
• Mistral Large 2.1
• Grok 3
• DeepSeek V3
• Llama 4 Maverick

Всего в исследовании участвовали 27 респондентов - 20 добровольцев-человек и 7 ИИ. За время эксперимента было проведено 238 интерактивных сессий, в ходе которых проанализировали 1714 вопросов и ответов.

Итоги тестирования показали, что при минимальных инструкциях ИИ смогли распознать машины лишь в 3 из 49 случаев. При использовании более структурированных подсказок алгоритмы не смогли верно классифицировать ни один ответ ИИ. В частности, машинные ответы ошибочно принимались за человеческие в 88% случаев, тогда как человеческие ответы распознавались как такие лишь в 78% случаев. Модели с краткими подсказками создавали тексты средней длиной около 39 слов, что практически равно среднему показателю людей - 38 слов.

Учёные отметили, что респонденты-ИИ следовали инструкциям гораздо более точно и дисциплинированно, что делало их ответы более естественными в диалоге. В итоге авторы пришли к выводу, что существующие системы проверки текста на базе ИИ пока не подходят для достоверной верификации подлинности текстов в разговоре. Результаты опубликованы в журнале Computers in Human Behavior Reports, что придаёт исследованиям дополнительный вес.

Эти данные подчёркивают необходимость дальнейшего совершенствования технологий искусственного интеллекта, поскольку их способность понимать контекст и проверять подлинность коммуникации остаётся ограниченной. Для русскоязычных специалистов и пользователей это особенно важно, учитывая растущую роль ИИ в журналистике, юридической сфере и образовании, где точность и надёжность информации критичны. Исследование стимулирует поиск новых методов для повышения эффективности алгоритмов верификации текстов и улучшения взаимодействия между людьми и машинами.

Таким образом, результаты обратного теста Тьюринга ставят под сомнение не только возможности современных языковых моделей, но и общее восприятие искусственного интеллекта. Интересно, что несмотря на схожесть в восприятии, многие всё же считают ИИ менее осознанным, чем человека. Узнайте, почему существует такая точка зрения и как она соотносится с результатами исследований, в нашей статье о осознании ИИ.