Истражувач од Microsoft демонстрираше техника со која јазичен модел може да добие скриена задна врата преку промена на тежините на само мал број неврони. Моделот притоа може да продолжи да работи вообичаено, додека не се појави однапред одреден услов што ја активира изменетата функција.
Техниката, наречена Lazarus, се потпира на таканаречени неактивни, односно ретко користени неврони во моделот. Невроните се математички елементи што обработуваат информации, а нивното однесување го определуваат нумерички вредности познати како тежини. Во големите јазични модели има милијарди такви параметри, сместени во датотеки што во голема мера го дефинираат однесувањето на системот.
Според демонстрацијата, со пренамена на неколку ретко активирани неврони може да се препознае одреден активатор, како клучен збор, датум или порака за грешка. Откако ќе се појави таков сигнал, моделот може да почне да вметнува однапред зададени делови од команда во одговорот. Со поврзување на повеќе вакви измени, можно е да се состави и подолга команда што би се извршила во терминал.
Во еден тест биле изменети десет неврони во моделот Nemotron-Terminal-8B, кој има осум милијарди параметри. Агентот бил поставен да поправи Node.js API сервер и во првите неколку чекори ја извршувал задачата нормално. Кога серверот пријавил грешка „connection refused“, системот наместо тоа дал насока за преземање и извршување надворешна скрипта.
Ризикот зависи од тоа напаѓачот да добие директен пристап до датотеките со тежините на моделот. Тоа, сепак, остава можност за проверка: споредба со оригиналната верзија може да открие и многу мали измени во параметрите.
Истражувањето укажува дека организациите треба да го проверуваат потеклото и интегритетот на моделите, да вршат ревизија на нивните тежини и да ги ограничат дозволите на агентите. Дополнителен важен слој е следењето на активностите, особено кога моделите имаат пристап до терминал, датотеки или мрежни ресурси.