Големите јазични модели можат да пишуваат убедливо, да решаваат математички задачи и да помагаат со програмски код, но тоа не значи дека расудуваат на начин што може да се провери и следи. Таков е ставот на Торе Грепел, поранешен член на тимот што го разви AlphaGo, кој денес работи на University College London.

Како пример тој го посочува познатиот 37. потег на AlphaGo во вториот меч против Ли Седол во 2016 година. Потегот тогаш изгледаше необично, а дел од коментаторите дури се посомневаа во грешка. Сепак, програмата победи во партијата и на крајот во мечот со 4:1.

Клучната разлика, според Грепел, е во архитектурата на AlphaGo. Системот комбинирал мрежа што проценува кој потег би бил веројатен со механизам за пребарување на голем број можни продолженија. Така не се потпирал само на првичната проценка, туку ги разгледувал последиците од различни потези и противпотези. Токму пребарувањето му овозможило да избере решение кое човечки играч многу ретко би го направил.

Јазичните модели, од друга страна, градат одговор така што последователно го предвидуваат следниот збор или дел од збор. Тие можат да прикажат меѓучекори при решавање задача, пристап познат како синџир на мисли, што донел подобрувања особено кај математиката и кодирањето. Но, и овие меѓучекори остануваат производ на истиот процес на предвидување.

Грепел издвојува три главни ограничувања. Прво, ваквите модели немаат трајна и јасно видлива евиденција за хипотезите, доказите, сомнежите и отворените прашања. Второ, знаењето што го имаат и начинот на кој го обработуваат не се одвоени во независни, проверливи структури. Трето, објаснувањето што го даваат за одговорот не мора да го прикажува вистинскиот пат до него, бидејќи може да биде составено дополнително.

Тоа е особено важно во медицината, инженерството и научните истражувања, каде што не е доволно само да се добие точен заклучок. Потребно е да се знае врз кои докази е заснован, кои претпоставки биле направени и каде настанала грешка ако резултатот е погрешен.

Неговиот предлог е идните системи да водат ажурирана, проверлива состојба на знаење: што е потврдено, што е отфрлено и што останува неизвесно. Таквиот пристап би овозможил заклучоците да произлегуваат од следлива низа докази и проверки, наместо од убедливо формулиран одговор.