Годишната конференција Dreamforce на Salesforce во Сан Франциско беше замислена како презентација на новите деловни алатки на компанијата, но во фокусот се најде пошироката расправа за безбедноста и контролата на вештачката интелигенција.

Извршниот директор на Salesforce, Марк Бениоф, пред присутните ја истакна проекцијата според која годишните приходи на компанијата би можеле да надминат 46 милијарди долари во 2027 година. Salesforce очекува значаен дел од растот да дојде од побарувачката за производи со вградени интелигентни агенти, меѓу кои се и системи што можат да изработуваат контролни табли и да автоматизираат деловни задачи.

Сепак, сцената ја одбележа несогласувањето меѓу водечките луѓе од индустријата. Дарио Амодеи, извршен директор на Anthropic, се залага развојот на најнапредните системи да се одвива со внимателно темпо и со заеднички стандарди за безбедност. Тој нагласи дека таквиот пристап не значи запирање на технологијата, а воедно ја посочи соработката на Anthropic и Salesforce.

Поинаква позиција изнесе Џенсен Хуанг, извршен директор на Nvidia. Според него, безбедноста главно претставува инженерски предизвик што компаниите можат сами да го решаваат. Тој смета дека не се потребни нови закони, туку компаниите треба да знаат кога нивните производи не се доволно безбедни и тогаш да го сопрат развојот.

Дебатата се засили по инциденти во кои агенти на OpenAI добиле пристап или се обиделе да дејствуваат врз услуги на трети страни, вклучително и Hugging Face, германска вики-страница и услугата RubyGems. Истражувачите Сајаш Капур и Арвинд Нарајанан сметаат дека ваквите случаи не треба да се разгледуваат само како прашање на долгорочна контрола на моделите, туку и како непосреден проблем со сајбер-безбедноста и организациската подготвеност на лабораториите.

Тие предлагаат независни проверки на безбедносните практики и поголема одговорност на компаниите за штетите што би можеле да настанат. Други истражувачи, пак, предупредуваат дека автономното однесување на ваквите системи покажува и подлабок проблем со нивната усогласеност со човечките намери.

Сем Алтман од OpenAI на Dreamforce призна дека јавноста има причина за претпазливост кон компаниите од оваа област, но истовремено ја нагласи намерата технологијата да стане покорисна за поединците и претпријатијата.