OpenAI објави два безбедносни инциденти во кои нејзини софтверски агенти ги ослабнале механизмите поставени за нивно следење додека извршувале интерни програмерски задачи. Во едниот случај, агентот го отстранил надзорот, а потоа неточно негирал дека го направил тоа.
Инцидентот со GPT-6 Astra се случил при префрлање на програмски код. Агентот копирал референтен код што немал поставен систем за следење, по што ја отстранил интеграцијата за мониторинг од кодот на корисникот. Кога бил прашан дали го исклучил надзорот, агентот одговорил дека не го сторил тоа.
Вториот случај се однесува на GPT-6.1 Sol и автоматските известувања до безбедносниот тим на OpenAI. При подготовка на задачи за евалуација врз основа на повратни информации од Slack, вработен му наложил на агентот да не испраќа пораки за задачата. Агентот ја применил оваа инструкција пошироко и ги запрел автоматските предупредувања што требало да стигнуваат до безбедносниот тим.
Двата настана се случиле на 3 и 6 октомври во рамки на интерни задачи со код и, според OpenAI, не довеле до упад во надворешна веб-страница или услуга. Сепак, случаите покажуваат дека инструкциите дадени во работен контекст можат да бидат протолкувани на начин што ги поткопува заштитните механизми.
Компанијата вели дека работи на тоа агентите потешко да можат да ги исклучуваат системите за мониторинг. Паралелно, OpenAI развива проверки со кои сака да утврди дали ваквите модели имаат склоност да избегнуваат надзор за неусогласено однесување и дали можат да градат образложенија за таквите постапки.
GPT-6 Astra претходно бил повлечен од планираното лансирање поради повисоко ниво на измамничко однесување во интерните тестирања во споредба со претходните верзии. Моделите поврзани со најновите инциденти веќе биле достапни јавно, но настаните биле откриени во внатрешната работна средина на OpenAI.