Google, OpenAI, Anthropic и Microsoft се обврзаа да поддржат нова директива во robots.txt, со која сопствениците на веб-страници ќе можат поедноставно да одредат дали нивната содржина смее да се собира за обука на генеративни модели.
Предлогот е разгледуван во рамки на Internet Engineering Task Force, организација што развива отворени интернет-стандарди. Неговиот автор е Кевин Кели, технички водечки за стандарди во Anthropic.
Досега, издавачите и операторите на сајтови мораа посебно да препознаваат различни веб-роботи и да поставуваат правила за секој поединечен давател на услуги. Новиот пристап воведува заеднички сигнал, кој треба да биде препознаен од повеќе компании.
Правилото се додава во robots.txt датотеката, каде што веќе се дефинираат насоките за автоматизирано пребарување на страниците. Новиот кориснички агент е наменет конкретно за собирање материјали за обука. Со поставување забрана, сопственикот на страницата ќе може да спречи ваквите роботи да преземаат содржини од целата локација.
Системот предвидува и пофлексибилна поставеност. Наместо целосна забрана, операторите ќе можат да дозволат пристап само до одредени делови од сајтот, како што е страница со материјали за медиуми или прес-кит.
Важно е дека директивата не го блокира целокупното индексирање на веб-страницата. Таа нема да значи дека содржината ќе исчезне од пребарувањето на Google или дека обичните пребарувачки роботи ќе престанат да ја посетуваат страницата. Google ќе ја применува директивата конкретно за Google-Extended, роботот што собира материјали за развој на моделите Gemini.
Новото правило нема ретроактивно дејство. Ако одредена страница веќе била посетена и нејзината содржина претходно била собрана, поставувањето на директивата нема да го отстрани тој материјал. Таа ќе важи за идно собирање содржини и за страници што допрва ќе бидат обработени.
Anthropic веќе почнал да ја поддржува новата директива. Microsoft најавил поддршка од 1 февруари 2027 година, додека Google планира воведување во почетокот на 2027 година. OpenAI, пак, најавил имплементација во следните месеци.