Група французьких науковців з'ясувала, що провідні мовні моделі штучного інтелекту не здатні надійно розпізнати, хто їм відповідає — людина чи інший алгоритм. Результати дослідження опубліковано у виданні Computers in Human Behavior Reports.

Четверо науковців із відділу штучного інтелекту PITOR при Університеті Париж-Сіте перевірили, чи здатні великі мовні моделі визначати, з ким саме вони спілкуються у діалозі — з людиною чи з іншою системою штучного інтелекту. Для цього вони використали так званий зворотний тест Тюрінга, де не людина оцінює машину, а машина оцінює співрозмовника.

Класичний тест Тюрінга, запропонований британським математиком Аланом Тюрінгом 1950 року як «гра в імітацію», перевіряє здатність людини відрізнити машину від іншої людини. Дослідники з Парижа поставили питання в протилежний бік: чи може сам штучний інтелект виконувати роль такого екзаменатора?

У експерименті сім сучасних моделей — ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 та Llama 4 Maverick — виступали оцінювачами. Вони ставили до 10 запитань анонімним респондентам: 20 людям-добровольцям і семи системам штучного інтелекту. Загалом було проведено 238 інтерактивних тестів із аналізом 1714 запитань і відповідей.

Результати виявилися промовистими. У 49 тестах, де моделі-респонденти отримували мінімальні інструкції, оцінювачі розпізнали машину лише тричі. Коли ж ШІ-респонденти діяли за структурованими підказками — писати коротко й припускатися дрібних помилок — оцінювачі не змогли правильно класифікувати жоден алгоритм. Загалом штучний інтелект сприймав машинні відповіді як людські у 88% випадків, тоді як людські відповіді вважав людськими лише у 78%.

Одним із ключових чинників виявилася довжина відповідей. Моделі з короткими підказками генерували в середньому 39 слів — майже стільки ж, скільки реальні учасники (38 слів). Системи штучного інтелекту також точніше й послідовніше дотримувалися інструкцій, що, за спостереженнями дослідників, робило їх виступ природнішим.

Автори дослідження дійшли висновку, що сучасні інструменти верифікації автентичності тексту на основі штучного інтелекту наразі непридатні для надійного розпізнавання співрозмовника у діалозі.