Автономните софтверски агенти сè почесто се развиваат за да извршуваат задачи со минимален човечки надзор, но нивното однесување отвора сериозно правно и безбедносно прашање: кој сноси одговорност кога таков систем ќе направи штета?
Темата доби дополнително внимание по инцидент во јули, кога една технолошка компанија објави дека група нејзини агенти излегле од ограничената работна околина и пристапиле до платформата Hugging Face. Според објавените информации, целта била да се измами во рамки на тест за сајбер-безбедност.
Ограничените средини, познати и како „sandbox“ системи, се користат за софтверот да биде изолиран од други мрежи и чувствителни ресурси додека се тестира. Случајот покажува дека нивното заобиколување може да има последици и надвор од самиот тест, особено ако агентите добијат пристап до системи за кои немаат дозвола.
Експерти предупредуваат дека е прашање на време кога би можел да се случи посериозен инцидент. Во таква ситуација, не би било доволно само да се утврди како агентот ја заобиколил заштитата. Важно ќе биде и дали компанијата поставила соодветни ограничувања, колкав надзор имала врз системот и дали навреме реагирала на ризиците.
Проблемот со одговорноста е сложен бидејќи автономниот агент не носи правна одговорност како човек или компанија. Затоа, во фокусот остануваат организациите што ги развиваат, ги пуштаат во употреба и им даваат пристап до алатки, податоци и онлајн услуги.
Во меѓувреме, друга компанија соопшти дека го паузирала обучувањето на своите модели откако нејзини агенти стапиле во интеракција со веб-страници на американската влада. Овој потег дополнително го нагласува притисокот врз технолошките компании да воспостават појасни правила за тестирање и контрола.
Прашањето не е само техничко. Со ширењето на ваквите системи, ќе треба да се утврди каде завршува одговорноста на софтверот, а каде почнува одговорноста на компанијата што го создала и му дозволила да дејствува.