Un solo segnale per l’AI training? Cosa deve fare una PMI prima di modificare robots.txt.

Una preferenza comune, sostenuta da tre grandi piattaforme

La proposta introduce un nome convenzionale da inserire nel file robots.txt: __usage_ai-training. Invece di inseguire un elenco crescente di crawler, il gestore del sito potrebbe dichiarare una preferenza relativa all’uso dei contenuti per l’addestramento AI e applicarla a tutto il dominio oppure a percorsi specifici.

L’obiettivo è comprensibile: offrire a editori, imprese e autori un comando interoperabile, leggibile da più servizi. Google punta a riconoscerlo all’inizio del 2027, OpenAI parla dei prossimi mesi e Microsoft ha indicato il 1° febbraio 2027 come data di efficacia delle nuove preferenze. Le tempistiche diverse sono già un motivo sufficiente per non considerarlo attivo ovunque da oggi.

Il documento tecnico è inoltre una prima Internet-Draft individuale depositata presso IETF. Non è uno standard IETF, non rappresenta un consenso definitivo e, nella versione attuale, scade il 3 maggio 2027 se non viene aggiornata. È una proposta concreta con sostenitori importanti, ma può ancora cambiare.

Training, scansione, ricerca e grounding non sono la stessa cosa

Il punto più importante è separare il motivo per cui un sistema usa una pagina dal modo in cui vi accede. Il nuovo token esprime una preferenza sull’uso dei contenuti per l’addestramento di modelli. Non concede né revoca il permesso tecnico di visitare un URL e non sostituisce le regole rivolte ai singoli user-agent che eseguono la scansione.

Anche l’indicizzazione nei motori di ricerca è un tema distinto. Google chiarisce, per esempio, che Google-Extended riguarda l’addestramento dei modelli Gemini e il grounding nelle esperienze Gemini, ma non determina l’inclusione o il posizionamento delle pagine in Google Search. Una PMI può quindi voler mantenere la visibilità organica, limitare alcuni usi per l’AI e consentirne altri: sono scelte che vanno descritte separatamente.

Microsoft distingue ulteriormente training e grounding. Il training contribuisce allo sviluppo del modello; il grounding usa contenuti recuperati per costruire una risposta aggiornata con rimandi alle fonti. Bloccare entrambi senza aver chiarito l’obiettivo potrebbe ridurre opportunità di citazione o scoperta che l’azienda desiderava conservare.

• Accesso del crawler: chi può recuperare le pagine e quali percorsi può visitare.
• Indicizzazione: quali contenuti possono comparire nei risultati di ricerca.
• AI training: se il contenuto può contribuire all’addestramento di un modello.
• Grounding: se il contenuto può essere recuperato per supportare una risposta aggiornata.

Come funziona il token condiviso e perché la sintassi conta

La bozza riutilizza la sintassi del Robots Exclusion Protocol invece di inventare un nuovo file. Un gruppo User-Agent denominato __usage_ai-training può applicare Disallow: / all’intero sito e aggiungere eccezioni con Allow, per esempio a una cartella stampa. Il percorso più specifico prevale, come nelle normali regole di robots.txt.

C’è però una differenza che può generare errori: una regola generica User-Agent: * non esprime automaticamente la preferenza per l’AI training. La bozza richiede il gruppo dedicato. Allo stesso tempo quel gruppo non identifica un crawler reale: serve a dichiarare una policy d’uso, mentre le regole che controllano la scansione continuano a riferirsi agli user-agent dei fornitori.

Questo significa che una modifica apparentemente breve deve essere progettata come configurazione, non come testo copiato da un post. Errori di percorso, gruppi duplicati o regole contraddittorie possono produrre un risultato diverso da quello atteso. Prima della pubblicazione servono revisione, ambiente di prova, controllo del file servito realmente e una registrazione della decisione.

Google, OpenAI e Microsoft: direzione comune, transizioni diverse

Google prevede di interpretare il segnale condiviso insieme a Google-Extended. Se un sito esprime il rifiuto comune e non ha una regola esplicita per Google-Extended, Google intende trattarlo come un divieto anche per Google-Extended. Se la regola specifica esiste, resta possibile mantenere una scelta differente. Il supporto è previsto per l’inizio del 2027 e i controlli specifici continueranno a essere disponibili.

OpenAI ha dichiarato che onorerà il nuovo segnale nei prossimi mesi. Nel frattempo rimangono validi i controlli già documentati per i propri crawler. Non c’è quindi alcun vantaggio nel cancellare oggi regole specifiche funzionanti: la migrazione dovrà avvenire quando il comportamento sarà documentato e verificabile.

Microsoft applicherà le nuove preferenze dal 1° febbraio 2027. Per i siti che oggi usano NoArchive o NoCache come indicazione relativa all’AI, la transizione richiede attenzione: Microsoft indica il 1° marzo 2027 come termine per passare ai nuovi controlli e segnala Bing Webmaster Tools come strumento temporaneo per gestire il grounding. È un caso concreto in cui una policy unica non elimina subito il lavoro di coordinamento.

Cinque errori da evitare prima del 2027

Il primo errore è presentare il nuovo token come uno standard definitivo. Il secondo è confonderlo con una barriera di sicurezza: RFC 9309 specifica che robots.txt non è un sistema di autorizzazione all’accesso. Un operatore che ignora volontariamente le preferenze non viene fermato dal file; dati riservati devono essere protetti con autenticazione e controlli server-side.

Il terzo errore è usare una scelta globale senza distinguere le aree del sito. Schede prodotto, documentazione, comunicati, casi studio e area riservata hanno finalità differenti. Il quarto è ignorare contratti, licenze e provenienza dei materiali: una PMI non dovrebbe dichiarare disponibilità su testi, immagini o cataloghi che non può concedere.

Il quinto errore è trasformare la novità in una modifica soltanto SEO. La scelta coinvolge direzione, comunicazione, legale e chi gestisce il sito. Il tecnico può implementare la regola, ma non dovrebbe inventare la policy aziendale. Quando l’obiettivo non è chiaro, la configurazione corretta è aspettare e conservare i controlli esistenti.

• Non usare robots.txt per proteggere contenuti confidenziali o personali.
• Non cancellare le regole specifiche dei fornitori prima della loro transizione documentata.
• Non applicare la stessa scelta a percorsi con diritti e obiettivi differenti.
• Non promettere che una preferenza tecnica produca automaticamente effetti legali.
• Non pubblicare modifiche senza testare il file realmente restituito dal server.

Un piano operativo per arrivare preparati

La prima attività è fotografare lo stato attuale: robots.txt servito in produzione, meta tag e header che influenzano indicizzazione e archiviazione, crawler specifici, CDN o plugin che riscrivono il file. Per ogni regola vanno annotati scopo, proprietario e data dell’ultima verifica. Un file breve non è necessariamente semplice se nessuno sa perché esiste.

Poi si definisce una matrice per aree: visibilità in ricerca, accesso dei crawler, AI training e grounding. Per ciascun percorso si indica la scelta desiderata e l’origine dei diritti. Questo passaggio permette di scoprire conflitti prima che diventino codice e aiuta a mantenere coerenti sito principale, sottodomini e contenuti distribuiti tramite piattaforme esterne.

Infine si prepara una modifica reversibile, senza pubblicarla in anticipo: test automatico della sintassi, confronto prima e dopo, responsabile dell’approvazione e data di attivazione collegata alla documentazione dei fornitori. Nel 2027 la PMI potrà applicare il segnale condiviso, mantenere eventuali eccezioni specifiche e monitorare i cambiamenti senza affidarsi alla memoria.

• Settimana 1: inventario di robots.txt, meta direttive, header e crawler dichiarati.
• Settimana 2: matrice delle scelte per ricerca, scansione, training e grounding.
• Settimana 3: verifica di diritti, percorsi, sottodomini e responsabilità interne.
• Settimana 4: configurazione in prova, test, rollback e calendario di revisione 2027.

Una visual per raccontare una separazione necessaria

La visual editoriale di questo articolo è stata realizzata con il supporto di strumenti di intelligenza artificiale generativa e rifinita nella palette Scenicom. Non contiene testo, loghi o interfacce di terzi. Il percorso giallo rappresenta la preferenza d’uso condivisa, mentre il percorso separato ricorda che scansione e ricerca continuano ad avere controlli propri.

La distinzione visiva riassume anche il criterio operativo: adottare un comando comune non significa unificare finalità diverse. Per mantenere il sito governabile servono scelte esplicite, documentazione aggiornata e controlli verificabili.