Компаниите сè почесто воведуваат генеративни алатки за побрзо составување извештаи, обработка на документи и други повторливи задачи. Но, нивната корисност зависи од пристапот до контекст и деловни системи, што истовремено создава нови безбедносни слабости.

Особено чувствителна е употребата на автономни агенти поврзани со сметководствени платформи, системи за управување документи, извештаи и бази со податоци за клиенти. Ако таков агент биде злоупотребен, може да изложи доверливи информации што фирмите ги чуваат за клиенти, вработени или инвеститори.

Еден од главните проблеми е тоа што големите јазични модели тешко ги разликуваат податоците од инструкции. Скриена злонамерна наредба во е-пошта, документ или веб-страница може да биде обработена како легитимно барање. Овој тип напад се познава како вметнување инструкции и може да поттикне дејство во подоцнежен момент, користејќи ги редовните дозволи на агентот.

Ризик постои и при пребарување на интернет. Агентот би можел ненамерно да вклучи доверливи податоци во интернет-адреса или во пребарувачко барање, со што информацијата би станала достапна надвор од компанијата без веднаш да биде забележана. Најопасна е комбинацијата од недоверлив влез, пристап до чувствителни податоци и можност за извршување дејства во надворешни системи.

Истражување на Turbotic покажува дека 51 отсто од деловните лидери стравуваат оти вработените внесуваат чувствителни податоци во неовластени алатки, додека 36 отсто се загрижени за нивна употреба без надзор. Оваа појава, позната како „сенка“ употреба, може да доведе до протекување податоци, неточни одговори и неусогласена комуникација со клиенти.

Според извештај на Светскиот економски форум и Accenture, помалку од еден отсто од организациите целосно воспоставиле одговорни практики за користење на вакви системи. Затоа, клучни се ограничени дозволи, јасно дефиниран пристап до податоци, контрола на поврзаните системи и човечка проверка на резултатите.

Компаниите треба да им обезбедат на вработените одобрени алатки и прецизни насоки за нивно користење. Без такви правила, најголемата закана не е само погрешната имплементација, туку и целосното отсуство на контрола.