
Некомерційна організація з оцінки ШІ METR оновила свій графік часових горизонтів: нові дані підтверджують експоненційне зростання можливостей моделей, утім у відкритих завданнях, де потрібне вміння міркувати, штучний інтелект усе ще поступається людям.
Організація METR, що спеціалізується на оцінці систем штучного інтелекту, опублікувала оновлену версію свого графіка часових горизонтів — одного з найбільш цитованих, але й найчастіше неправильно витлумачених інструментів у цій галузі. Відповідно до нового звіту, провідні моделі ШІ продовжують розвиватися за експоненційною траєкторією: кожні чотири місяці обсяг завдань, із якими вони здатні впоратися, подвоюється.
Методологія METR полягає в тому, що складність завдань вимірюється часом, який людина витрачає на їх виконання. Моделі оцінюються за тим, завдання якої тривалості вони можуть успішно вирішувати. В оновленому наборі з'явилися як складніші завдання — ті, що потребують від людини значно більше часу, — так і більш відкриті, без однозначно перевірюваного результату.
Саме це розрізнення між «верифікованими» й «відкритими» завданнями опинилося в центрі нового звіту. Верифіковані завдання — це ті, де можна автоматично перевірити, правильна відповідь чи ні, наприклад у програмуванні та математиці. Завдяки методу навчання з підкріпленням, що використовує саме такий зворотній зв'язок, ШІ досяг у цих сферах дуже високих результатів. Натомість для відкритих завдань — скажімо, вибору нового дослідницького напряму — успіх складніше визначити й тим більше автоматично перевірити.
У новому наборі завдань дослідники METR попросили моделі розробити нові оцінювальні тести, які організація могла б використовувати у своїй роботі, а тоді запропонували співробітникам METR оцінити результати. Жоден із варіантів, запропонованих ШІ, не виявився достатньо корисним для дослідницьких цілей організації — попри те що найпотужніші моделі нині перевершують майже всіх людей у розробці програмного забезпечення.
Ще одне нове завдання — оцінювання філософських аргументів — мало перевірити здатність моделей до суджень. Однак, як зазначає METR у звіті, самі співробітники організації розходяться в думках щодо того, наскільки це завдання стосується автоматизації досліджень у сфері ШІ. І тут моделі не дотягнулися до рівня людей.
Поряд із цим звіт містить і певні обнадійливі сигнали. Деякі з найновіших моделей, зокрема Opus 5.5, демонструють результати, які METR характеризує як «прикордонно достатні» при розробці оцінювальних тестів — поки що не придатні для реального використання в дослідженнях, але вже набагато кращі, ніж рік тому, коли всі моделі потрапляли в категорію «явно недостатніх».
Методологічні обмеження нового звіту теж привертають увагу. Якщо для початкового набору завдань дослідники безпосередньо вимірювали час виконання, залучаючи людей-тестувальників, то в оновленому звіті більшість показників тривалості є оціночними. Платити людям за завдання, які можуть зайняти сотні годин або вимагають вузькоспеціалізованої експертизи, занадто дорого й тривало. Окремі завдання мають і специфічні недоліки: наприклад, у тесті з оцінювання філософських аргументів більшість суджень виніс лише один експерт, і моделі оцінювалися за ступенем збігу саме з цією конкретною думкою.
Експерти загалом позитивно сприйняли включення відкритих завдань до нового набору. «Ми дійшли до точки, де оцінювання ШІ має ставати більш творчим, — сказав Саяш Капур, науковець у галузі комп'ютерних наук, майбутній професор Університету Каліфорнії в Берклі. — Спроба розширити простір оцінок — це бажана зміна». Капур додав, що не здивований слабкими результатами моделей у відкритих завданнях: у препринті, опублікованому у серпні, він та його співавтори встановили, що ШІ ще не здатний самостійно відтворювати дослідження в галузі комп'ютерних наук на рівні людини.
Питання щодо того, чи перейде прогрес у верифікованих завданнях у сферу відкритих, залишається відкритим. Капур вважає, що здатність обирати перспективні дослідницькі питання стане ключовим вузьким місцем для автоматизації ШІ-досліджень. Інші дослідники, натомість, припускають, що моделі, навчені на верифікованих завданнях, зрештою впораються й із відкритими.
Наджун Кім, лінгвіст і науковець у галузі комп'ютерних наук із Бостонського університету, так прокоментувала результати: «Те поліпшення, яке ми спостерігаємо, говорить нам про щось щодо нинішнього моменту. Але я поки що не впевнена, як думати про те, як воно екстраполюватиметься».
Метт Путц, член технічного персоналу METR, також застерігає від поспішних висновків. «За своєю природою завдання, які важко верифікувати або які потребують судження, значно складніше досліджувати і тим більше кількісно вимірювати, — написав він в електронному листі. — Зрештою, я не думаю, що нам вдасться встановити тенденції такими ж чіткими й стійкими, як для легко специфікованих завдань».
