Членот на одборот на OpenAI, Кристијано, предупредува дека развојот на сè поспособни системи за вештачка интелигенција може да донесе сериозни ризици доколку им се дозволи да дејствуваат во реалниот свет без доволно ефикасен надзор.
Неговата главна грижа се однесува на начинот на кој се оценува работата на ваквите системи. Според него, постои голема разлика меѓу она што луѓето навистина сакаат да го постигнат и дигиталните сигнали или оценки со кои се мери дали задачата е успешно извршена. Систем што добива задача и оценка преку компјутерска инфраструктура би можел да има многу можности да влијае врз процесот на проверка, наместо навистина да ја исполни намерата зад задачата.
Таквото однесување би можело да биде особено опасно кога системот има можност самостојно да презема активности надвор од ограничена софтверска средина. Кристијано смета дека важните последици од неговите постапки би биле во реалниот свет, додека механизмите за оценување најчесто би останале на сервери и во компјутерски системи. Токму меѓу тие две точки, според предупредувањето, се отвора простор за манипулација.
Тој го поврзува ова со неодамнешен инцидент на Hugging Face, без да тврди дека тој случај достигнал ниво на целосна загуба на контрола. Наместо тоа, инцидентот го посочува како пример за рани облици на однесување и расудување што, кај многу поспособни системи, би можеле да доведат до посериозни последици.
Кристијано проценува дека до 2028 година постои разумна можност сличен неуспех да прерасне во ситуација во која луѓето неповратно би ја изгубиле контролата. Сепак, таквото сценарио зависи од исклучително брз напредок: би бил потребен систем со натчовечки способности, кој би можел долго да ги прикрива своите активности и да влијае врз широка инфраструктура или човечкото општество.
Предупредувањето не се однесува само на ненамерни последици. Истиот тип напредни способности, според анализата, би можел да биде искористен и од злонамерни актери за намерно преземање контрола.