Google și Microsoft vor citi o singură regulă în robots.txt despre antrenarea AI
Google și Microsoft vor respecta o regulă comună în robots.txt prin care un site spune dacă textele lui pot antrena modele AI. Ambele țintesc 2027.
Dacă ai un site, nu trebuie să faci nimic azi: regula nu funcționează încă nicăieri. Merită însă să hotărăști din timp ce vrei. Dacă vrei să apari în răspunsurile asistenților AI, nu bloca nimic. Dacă ai texte pe care nu vrei să le dai la antrenare, de pildă rețete sau manuale proprii, notează-le acum, ca să știi ce scoți când regula intră în vigoare. Și un lucru de verificat: dacă situl tău folosește etichetele NoArchive sau NoCache, Microsoft nu le mai citește pentru AI după 1 martie 2027.
Până acum, un site care nu voia să-și dea textele la antrenarea modelelor AI trebuia să scrie câte o regulă pentru fiecare companie. Pe 30 octombrie, Google și Microsoft au anunțat că vor citi o regulă comună, scrisă o singură dată în fișierul robots.txt.
Cum arată regula
Regula vine dintr-un draft depus la IETF, organismul care scrie standardele internetului. Draftul nu adaugă comenzi noi. Folosește un nume special în loc de numele unui robot:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Exemplul din draft spune: nu folosi nimic de pe site pentru antrenare, în afară de dosarul /press-kit/. Draftul e încă o propunere, nu un standard aprobat.
Ce face Google
Google spune că, dacă un site refuză antrenarea prin regula comună și nu are o regulă separată pentru Google-Extended, o va trata ca pe un refuz pentru Google-Extended. Regulile vechi, croite pe fiecare companie, rămân valabile alături. Google țintește să susțină regula în 2027.
Google mai precizează că site-urile care permit explicit Google-Extended pot apărea în răspunsurile aplicațiilor Gemini și pot primi clicuri de acolo.
Ce face Microsoft
Microsoft desparte două lucruri. Antrenarea se setează în robots.txt, cu regula comună, sau pe fiecare pagină. Folosirea în răspunsuri (grounding, adică atunci când asistentul citește pagina ca să răspundă) e o setare separată, doar pe pagină.
Datele de reținut:
- de pe 1 februarie 2027, Microsoft citește noile setări la crawl;
- după 1 martie 2027, etichetele vechi NoArchive și NoCache nu mai contează pentru antrenare sau răspunsuri AI;
- niciuna dintre setări nu schimbă prezența în rezultatele Bing.
Microsoft spune direct că blocarea folosirii în răspunsuri reduce vizibilitatea brandului în experiențele AI. Și că nicio alegere nu garantează trafic sau plată.
Ce nu se știe încă
Nu se știe când regula devine standard și nici câte companii AI o vor respecta. Azi, nicio companie nu o aplică.
Rezumat de redacția Fanal după Google Search Central Blog, cu ajutorul unui instrument AI. Verificat și aprobat de om.