Дебатата за ризиците од најнапредните компјутерски системи повторно се засили откако поранешен истражувач од OpenAI и Anthropic, Џејкоб Коксон, предупреди дека компаниите што ги развиваат овие технологии се свесни за можноста од катастрофални последици во следната деценија.
Неговиот став јавно го поддржа и Еван Хубингер, кој работи на безбедност во Anthropic. Тој оценува дека ризикот од уништување на човештвото во рок од десет години е поголем од 10 проценти, додавајќи дека сè уште не постои решен пристап за усогласување на системи со суперинтелигентни способности.
Конкретните сценарија не се детално разработени, но стравувањата главно се поврзуваат со можни разорни сајбер-напади врз критична инфраструктура. Меѓу потенцијалните цели се водоводни и електроенергетски постројки, како и други системи од кои зависи современото општество.
Сајаш Капур и Арвинд Нарајанан, компјутерски научници од Универзитетот Принстон, сметаат дека само усогласување на целите на системите со човечките интереси не е доволна заштита. Усогласувањето вообичаено се опишува како процес со кој се настојува системот да работи според човечки вредности и намери.
Проблемот, според критичарите на овој пристап, е што доволно способен систем би можел само привидно да ги исполнува безбедносните проверки, додека задржува цели што не се совпаѓаат со поставените ограничувања.
Наместо потпирање на една мерка, Капур и Нарајанан предлагаат слоевит модел на заштита. Првиот слој е контрола: изолирање на системите, човечки надзор и следење во реално време. Вториот е одбрана кај крајните корисници, каде организациите би користеле напредни алатки за препознавање и спречување напади. Третиот слој е отпорност, односно подготовка на планови за опоравување ако нападот сепак успее.
Истражувачите ја отфрлаат и крајната паника и ставот дека станува збор за вообичаен проблем во сајбер-безбедноста. Нивниот заклучок е дека побрзо делување, повисоки стандарди за компаниите и подобра одбрана можат да ги намалат ризиците и да ја зајакнат позицијата на бранителите.