Непрофитната организација METR објави проширена верзија на својата позната анализа за тоа колку сложени задачи можат успешно да завршат најнапредните јазични модели. Новите резултати и натаму укажуваат на брзо подобрување кај задачи со јасно проверлив исход, но откриваат значителна разлика кога од системите се бара проценка, истражувачки вкус или работа со отворени проблеми.
Во првичната анализа, тежината на задачите се определувала според времето што им е потребно на луѓето за да ги завршат. Потоа се мерело колку долги задачи можат да решат моделите. Податоците покажале дека должината на задачите што водечките системи можат да ги завршат успешно се удвојувала приближно на секои четири месеци.
Новото издание вклучува задачи за кои на луѓето би им биле потребни многу повеќе часови, како и задачи со помалку прецизно дефинирани критериуми за успех. Таквите задачи се важни бидејќи автоматизацијата на истражувачката и развојната работа не зависи само од решавање програмерски или математички проблеми, туку и од избор на насока, поставување хипотези и оценување на резултатите.
Еден од новите тестови бара од моделите да осмислат нови евалуации што METR би можел да ги користи во сопствената работа. Предлозите ги оценувале вработени во организацијата. Ниту еден од предложените тестови не бил доволно корисен за да биде применет во истражувањето на METR, иако најновите модели покажуваат подобри резултати отколку пред една година.
Друг тест се однесува на оценување филозофски аргументи и треба да покаже колку добро системите можат да применат расудување. И тука резултатите биле под човечкото ниво. METR наведува и ограничувања во методологијата: за некои долги и стручни задачи времетраењето за човек е проценето наместо директно измерено, а кај филозофските аргументи најголем дел од оценувањето го направило едно лице.
Според извештајот, напредокот кај програмерските и математичките задачи е полесен за постигнување и мерење, бидејќи резултатот може автоматски да се провери. Кај отворените задачи, каде што успехот не е едноставно дефиниран, и развојот и оценувањето остануваат многу понесигурни.
Проширените тестови се важен чекор кон пореална слика за можностите на современите модели, но засега не нудат сигурен одговор колку брзо би можеле да преземат сложена истражувачка работа.
