
Дослідження за участю вчених University College London та ЮНЕСКО перевірило 33 великі мовні моделі на знання кліматичної науки: флагманські моделі правильно відповіли приблизно на 90% запитань у базових тестах, однак на запитаннях про рівень наукової впевненості з доповідей МГЗК результати виявились помітно нижчими.
Дослідження, яке провели вчені University College London спільно з Організацією ООН з питань освіти, науки і культури (ЮНЕСКО), поставило собі за мету з'ясувати, як великі мовні моделі (LLM) справляються з темою кліматичних змін. Автори тестували моделі з різними типами запитів і оцінювали якість відповідей.
До експерименту залучили 33 моделі, зокрема кілька версій провідних та відкритих моделей. Серед флагманських — Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash і GPT-5.6 Sol. Кожну модель оцінювали за результатами відповідей на 600 запитань із кількох наборів тестів.
Тести охоплювали три типи завдань: запитання з підручників у форматі множинного вибору, запитання на розуміння уривків із наукових статей, а також запитання про те, наскільки впевнені кліматологи в різних висновках доповідей Міжурядової групи експертів зі змін клімату (МГЗК).
Найважчим виявився саме останній тип. Флагманські моделі відповіли правильно приблизно на 78% таких запитань, тоді як найменші відкриті моделі — лише на близько 47%. У двох інших категоріях тестів флагманські та великі відкриті моделі загалом набирали близько 90%, а малі відкриті моделі — у межах 70%.
Дослідники також аналізували складніші сценарії взаємодії — зокрема ситуації, коли користувач наполягає на власній відповіді, вважаючи її правильною. Повний перелік протестованих моделей наведено у звіті дослідження.
