Независната истражувачка организација METR објави извештај според кој Anthropic сè повеќе користи сопствени напредни модели за да го забрза нивниот понатамошен развој. Анализата, спроведена во период од 11 недели во компанијата, укажува дека темпото на подобрување на моделите е приближно двојно повисоко во споредба со пред една година.

Истражувачите проценуваат дека Anthropic во последните 12 месеци остварил напредок еквивалентен на околу две години од претходниот развоен ритам. Според METR, забрзувањето не може едноставно да се објасни со поголема компјутерска моќ при обучувањето. Главниот фактор, според достапните наоди, е примената на моделите во истражувачките и инженерските задачи.

Вработени во Anthropic, анкетирани преку интерни канали и интервјуа, пријавиле големи добивки во продуктивноста. Корисниците на најспособниот внатрешен модел во просек сметале дека работат околу 12 пати попродуктивно отколку без таква помош. Тоа е приближно двојно повисока пријавена корист во однос на оценките дадени само неколку месеци порано.

Засега, најголемиот дел од придобивките доаѓа од модели што им помагаат на луѓето, а не од целосно самостојна работа. Сепак, METR забележува сигнали дека автономниот придонес може да добива поголема улога во блиска иднина. Во извештајот не се наведуваат јасни знаци на намалени приноси или технички ограничувања што би го сопирале дополнителното забрзување.

Во последните шест месеци, Anthropic завршил обучување на три модели кои сè уште не се јавно достапни. Во документот тие се означени како Model 2, Model 3 и Model 4, со завршено обучување меѓу јули и октомври. METR посочува и постар необјавен модел од 2022 година.

Извештајот истовремено предизвика критики поради ограничената јавна достапност на доказите. Anthropic имал право да отстранува делови од конечната верзија, а METR наведува дека биле сокриени голем дел од најинформативните материјали. Компанијата образложила дека подеталните информации би можеле да им помогнат на конкурентите побрзо да напредуваат.

Токму оваа комбинација од забрзан развој и ограничена транспарентност го засилува повикот за посилен независен надзор врз лабораториите што развиваат најнапредни модели.