П’ятниця, 20 листопада 2026
Час в Україні: 22:15
USD 44.93 ↓ -0.27
EUR 49.28 ↓ -0.30
PLN 11.06 ↓ -0.18

ШІ швидко вдосконалюється у програмуванні, але пасує перед завданнями, що потребують судження

METR оновила оцінку можливостей ШІ: моделі продовжують швидко прогресувати, проте у завданнях, що вимагають судження, помітно відстають від людей.
20.11.26
Автор: 
Редакція ДЕПЕША

Некомерційна організація з оцінки ШІ METR оновила свій графік часових горизонтів: нові дані підтверджують експоненційне зростання можливостей моделей, утім у відкритих завданнях, де потрібне вміння міркувати, штучний інтелект усе ще поступається людям.

Організація METR, що спеціалізується на оцінці систем штучного інтелекту, опублікувала оновлену версію свого графіка часових горизонтів — одного з найбільш цитованих, але й найчастіше неправильно витлумачених інструментів у цій галузі. Відповідно до нового звіту, провідні моделі ШІ продовжують розвиватися за експоненційною траєкторією: кожні чотири місяці обсяг завдань, із якими вони здатні впоратися, подвоюється.

Методологія METR полягає в тому, що складність завдань вимірюється часом, який людина витрачає на їх виконання. Моделі оцінюються за тим, завдання якої тривалості вони можуть успішно вирішувати. В оновленому наборі з'явилися як складніші завдання — ті, що потребують від людини значно більше часу, — так і більш відкриті, без однозначно перевірюваного результату.

Саме це розрізнення між «верифікованими» й «відкритими» завданнями опинилося в центрі нового звіту. Верифіковані завдання — це ті, де можна автоматично перевірити, правильна відповідь чи ні, наприклад у програмуванні та математиці. Завдяки методу навчання з підкріпленням, що використовує саме такий зворотній зв'язок, ШІ досяг у цих сферах дуже високих результатів. Натомість для відкритих завдань — скажімо, вибору нового дослідницького напряму — успіх складніше визначити й тим більше автоматично перевірити.

У новому наборі завдань дослідники METR попросили моделі розробити нові оцінювальні тести, які організація могла б використовувати у своїй роботі, а тоді запропонували співробітникам METR оцінити результати. Жоден із варіантів, запропонованих ШІ, не виявився достатньо корисним для дослідницьких цілей організації — попри те що найпотужніші моделі нині перевершують майже всіх людей у розробці програмного забезпечення.

Ще одне нове завдання — оцінювання філософських аргументів — мало перевірити здатність моделей до суджень. Однак, як зазначає METR у звіті, самі співробітники організації розходяться в думках щодо того, наскільки це завдання стосується автоматизації досліджень у сфері ШІ. І тут моделі не дотягнулися до рівня людей.

Поряд із цим звіт містить і певні обнадійливі сигнали. Деякі з найновіших моделей, зокрема Opus 5.5, демонструють результати, які METR характеризує як «прикордонно достатні» при розробці оцінювальних тестів — поки що не придатні для реального використання в дослідженнях, але вже набагато кращі, ніж рік тому, коли всі моделі потрапляли в категорію «явно недостатніх».

Методологічні обмеження нового звіту теж привертають увагу. Якщо для початкового набору завдань дослідники безпосередньо вимірювали час виконання, залучаючи людей-тестувальників, то в оновленому звіті більшість показників тривалості є оціночними. Платити людям за завдання, які можуть зайняти сотні годин або вимагають вузькоспеціалізованої експертизи, занадто дорого й тривало. Окремі завдання мають і специфічні недоліки: наприклад, у тесті з оцінювання філософських аргументів більшість суджень виніс лише один експерт, і моделі оцінювалися за ступенем збігу саме з цією конкретною думкою.

Експерти загалом позитивно сприйняли включення відкритих завдань до нового набору. «Ми дійшли до точки, де оцінювання ШІ має ставати більш творчим, — сказав Саяш Капур, науковець у галузі комп'ютерних наук, майбутній професор Університету Каліфорнії в Берклі. — Спроба розширити простір оцінок — це бажана зміна». Капур додав, що не здивований слабкими результатами моделей у відкритих завданнях: у препринті, опублікованому у серпні, він та його співавтори встановили, що ШІ ще не здатний самостійно відтворювати дослідження в галузі комп'ютерних наук на рівні людини.

Питання щодо того, чи перейде прогрес у верифікованих завданнях у сферу відкритих, залишається відкритим. Капур вважає, що здатність обирати перспективні дослідницькі питання стане ключовим вузьким місцем для автоматизації ШІ-досліджень. Інші дослідники, натомість, припускають, що моделі, навчені на верифікованих завданнях, зрештою впораються й із відкритими.

Наджун Кім, лінгвіст і науковець у галузі комп'ютерних наук із Бостонського університету, так прокоментувала результати: «Те поліпшення, яке ми спостерігаємо, говорить нам про щось щодо нинішнього моменту. Але я поки що не впевнена, як думати про те, як воно екстраполюватиметься».

Метт Путц, член технічного персоналу METR, також застерігає від поспішних висновків. «За своєю природою завдання, які важко верифікувати або які потребують судження, значно складніше досліджувати і тим більше кількісно вимірювати, — написав він в електронному листі. — Зрештою, я не думаю, що нам вдасться встановити тенденції такими ж чіткими й стійкими, як для легко специфікованих завдань».

Суб’єкт у сфері медіа: ТОВ "ДЕПЕША МЕДІА ГРУП" 
ЄДРПОУ: 46403078
Ідентифікатор онлайн-медіа в Реєстрі суб’єктів у сфері медіа — [вказажемо номер після реєстрації].
Онлайн-медіа «ДЕПЕША» доступне за адресою depesha.org.
Фотографії, відео, графічні матеріали та інші об’єкти авторського права належать їхнім законним правовласникам, якщо інше прямо не зазначено. Матеріали, створені редакцією «ДЕПЕША», можуть використовуватися лише з обов’язковим посиланням на першоджерело, якщо інші умови використання не зазначені окремо.
Думки авторів колонок, експертів та інших запрошених авторів можуть не збігатися з позицією редакції. Оціночні судження, прогнози та авторські інтерпретації є думкою відповідного автора.
Відповідальність за зміст рекламних матеріалів, достовірність наведених у них відомостей, а також за рекламовані товари та послуги несе рекламодавець.
Матеріали з позначками «Реклама», «Партнерський матеріал», «Спецпроєкт», «Пресреліз», «Promo» або іншими відповідними маркуваннями можуть публікуватися на комерційних умовах.
Матеріали в форматі «Новини компаній» створюються на основі інформації, наданої компаніями, організаціями або їхніми представниками, зокрема пресрелізів, офіційних повідомлень і заяв. Редакція може редагувати такі матеріали відповідно до редакційних стандартів.
При передруку матеріалів «ДЕПЕША» активне гіперпосилання на depesha.org є обов’язковим. Для інтернет-видань посилання має бути відкритим для пошукових систем та розміщуватися не нижче першого абзацу або в безпосередній близькості до використаного матеріалу.
Редакція залишає за собою право виправляти неточності, оновлювати матеріали та додавати уточнення після публікації.
© 2026 ДЕПЕША. Усі права захищені. Використання матеріалів дозволяється за умови активного посилання на depesha.org.