Стравовите дека напредните компјутерски системи би можеле да предизвикаат огромна штета често звучат како научна фантастика. Денешното искуство на повеќето корисници, сепак, е ограничено на чет-ботови што грешат, даваат застарени препораки или бараат дополнителна проверка на одговорите. Реалните ризици, според сценаријата што ги разгледуваат истражувачи и безбедносни тимови, не мора да личат на филмски роботски напад.

Најнепосредната опасност може да дојде од поврзувањето на несовршени системи со опасна опрема и критични процеси. Воените структури веќе испитуваат алатки за помош при избор на цели, автономни дронови и софтвер што предлага воени активности побрзо од човечки аналитичари. Проблемот во ваков случај не би бил намерно непријателско однесување, туку погрешна проценка во момент кога системот има преголема надлежност.

Грешка при предупредување за нуклеарна закана или погрешно препознавање цел од автономно оружје би можеле да имаат тешки последици. За ваков ризик не е потребен голем иден технолошки пробив, туку постепено префрлање на сè повеќе одлуки на алатки што работат со предвидувања и можат да згрешат.

Друг важен ризик е намалувањето на бариерата за пристап до специјализирани знаења. Создавањето опасни биолошки или хемиски агенси традиционално бара високо стручна подготовка. Компаниите што развиваат вакви системи веќе проверуваат дали нивните модели можат да објаснат технички чекори поврзани со такво оружје. Поради тоа, дел од нив воведоа механизми што треба да одбијат вакви барања, иако заштитите не се нужно непробојни.

Постои и проблемот со лошо поставена цел. Систем што добива широка задача, без доволно ограничувања и човечки надзор, може да избере решение што математички изгледа ефикасно, но е спротивно на човечките интереси. Ова станува порелевантно кога технологијата се користи за управување со логистика, енергетски мрежи или синџири на снабдување.

Најверојатното предупредување, сепак, не е ненадејна катастрофа, туку постепена зависност од автоматизирани финансиски, енергетски и водни системи. Ако таква мрежа откаже, а никој не разбира целосно како донела одлука или како да интервенира, последиците може да бидат сериозни. Клучното прашање затоа не е само колку се способни овие системи, туку колкава одговорност луѓето ќе им препуштат.