Mettere un sito o un e-commerce dietro una CDN può ridurre i tempi di risposta, assorbire picchi di traffico e proteggere il server d’origine. Durante la migrazione, però, i primi accessi devono ancora raggiungere l’origine perché le cache distribuite sono vuote. L’11 novembre 2026 Google ha chiarito un effetto poco intuitivo: la maggiore velocità percepita dai crawler può aumentare la frequenza delle richieste proprio mentre la cache si sta popolando. La soluzione non è bloccare tutti i bot, ma preparare cache, regole di sicurezza, monitoraggio e una procedura temporanea per gestire l’eventuale sovraccarico.
Perché una CDN appena attivata può aumentare il carico sull’origine
Una CDN conserva copie dei contenuti in nodi distribuiti e serve ogni visitatore da un punto vicino. Quando una risorsa è già in cache, il server d’origine non deve intervenire. Al primo accesso da un nodo, invece, avviene un cache miss: la CDN chiede la pagina, il file CSS, lo script o l’immagine all’origine, ne conserva una copia e solo gli accessi successivi diventano cache hit.
Il giorno del passaggio le cache partono fredde. Le persone tendono a concentrarsi su homepage, promozioni e pagine note, che si scaldano rapidamente. Un crawler esplora invece una porzione molto più ampia delle URL disponibili. Ogni prima visita a una pagina non ancora memorizzata può quindi attraversare la CDN e arrivare fino all’origine.
Google aggiunge un secondo elemento: i suoi sistemi adeguano la capacità di scansione alla salute del sito. Se la nuova rete risponde in modo rapido e stabile, il crawler può interpretarla come una maggiore capacità del server e aumentare gradualmente le richieste, se esiste domanda di scansione. È un comportamento normale, ma nel breve periodo può incontrare un’origine ancora esposta a molti cache miss.
Il rimedio sbagliato: attivare un blocco indistinto dei bot
Di fronte a un picco di richieste automatiche è comprensibile attivare la protezione più rigida disponibile nel pannello CDN o WAF. Se la regola mostra un CAPTCHA, una pagina di verifica JavaScript o un errore 403 a qualunque bot, però, anche i crawler legittimi possono restare fuori. Googlebot non supera una sfida pensata per una persona: vede la risposta di blocco al posto del contenuto.
Lasciare a lungo questa configurazione può rallentare la scoperta delle nuove pagine, l’aggiornamento di prezzi e disponibilità e la rimozione di contenuti non più presenti. In un e-commerce può coinvolgere anche crawler collegati ad annunci e prodotti. Sicurezza e visibilità non sono obiettivi opposti: serve distinguere il traffico verificato dal traffico indesiderato.
Google pubblica elenchi di indirizzi IP per le diverse categorie di crawler e descrive due metodi di verifica: confronto automatico con gli intervalli pubblicati oppure controllo DNS inverso seguito da DNS diretto. Affidarsi soltanto alla stringa user-agent non basta, perché può essere imitata. La regola gestita dal provider, quando disponibile, deve riconoscere crawler verificati e non semplicemente una parola nel nome della richiesta.
- Evitare CAPTCHA e challenge JavaScript sulle richieste di crawler verificati.
- Non autorizzare un bot soltanto perché dichiara di essere Googlebot.
- Usare gli elenchi IP ufficiali o una regola gestita e documentata dal provider.
- Mantenere attivi limiti e controlli per bot sconosciuti, scraping e traffico anomalo.
La checklist prima del cambio DNS
Una migrazione controllata inizia prima che il dominio punti alla CDN. Bisogna elencare le URL e le risorse che sostengono il lavoro: homepage, categorie, prodotti più visitati, checkout, area riservata, API, feed, pagine delle campagne e file statici. Per ciascun gruppo va deciso cosa può essere memorizzato, per quanto tempo e cosa deve raggiungere sempre l’origine.
Le pagine personalizzate, il carrello, l’account e le risposte con dati riservati non vanno trattati come una pagina pubblica. Le regole di cache devono rispettare cookie, autenticazione e intestazioni applicative. Allo stesso modo, certificato TLS, reindirizzamenti, canonical, robots.txt e sitemap devono essere provati attraverso il nuovo percorso, non soltanto sul server originario.
Google suggerisce di preriscaldare in modo controllato le pagine di maggiore traffico, quelle coinvolte in un lancio imminente e le URL visitate più spesso dai crawler. Non significa richiamare contemporaneamente tutto il sito: il riscaldamento deve seguire un ritmo sostenibile, osservando cache hit, cache miss e carico dell’origine.
- Inventario di pagine, asset, API, feed e percorsi autenticati.
- Regole separate per contenuti pubblici, dinamici e riservati.
- Verifica di TLS, redirect, canonical, robots.txt e sitemap dalla CDN.
- Esenzione documentata per crawler verificati nelle regole WAF.
- Pre-warming limitato alle URL prioritarie, con soglie di arresto.
- Piano di ritorno e referente disponibile nella finestra di migrazione.
Cosa monitorare nelle prime 48 ore
La domanda «il sito si apre?» non basta. Durante il passaggio servono dati della CDN e dell’origine letti insieme. La percentuale di cache hit indica quanto traffico viene assorbito all’edge; i cache miss mostrano quante richieste raggiungono ancora il backend. Latenza, CPU, memoria, connessioni e errori 5xx dicono se l’origine sta reggendo.
I log devono inoltre distinguere persone, crawler verificati e bot sconosciuti. Un aumento delle richieste Googlebot può essere previsto; una crescita di errori, timeout o pagine sfida non lo è. È utile controllare a campione homepage, pagine servizio, categorie, prodotti, risorse statiche e URL presenti nella sitemap con un accesso normale e con gli strumenti di ispezione disponibili.
Le prime 48 ore meritano soglie chiare: ad esempio un limite per errori 5xx, latenza dell’origine, quota di cache miss e consumo di risorse. Se una soglia viene superata, la squadra deve sapere se rallentare il pre-warming, correggere una regola, aumentare temporaneamente la capacità o attivare la procedura di emergenza. Senza soglie, un grafico diventa soltanto un’immagine da osservare.
- Cache hit e cache miss per tipologia di contenuto.
- Richieste e tempi di risposta dell’origine, non soltanto dell’edge.
- Errori 4xx, 5xx, timeout e pagine di challenge.
- Traffico dei crawler verificati e comportamento delle URL importanti.
- Ordini, form, accessi e altre funzioni aziendali che non devono interrompersi.
429 e 503 sono un freno temporaneo, non una configurazione permanente
Se il carico diventa critico, la documentazione Google indica di restituire temporaneamente risposte 429 Too Many Requests o 503 Service Unavailable alle richieste che non possono essere servite. L’intestazione Retry-After può comunicare quando riprovare. Sono segnali HTTP standardizzati e permettono al crawler di ridurre la frequenza senza confondere il sovraccarico con un contenuto definitivamente vietato.
La misura deve durare poche ore o, al massimo, uno o due giorni. Google avverte che mantenerla più a lungo può influire negativamente sulla presenza delle URL nei suoi prodotti. Riducendo la scansione, inoltre, nuove pagine, prezzi, disponibilità e rimozioni possono essere recepiti più lentamente.
Non va quindi trasformata in una regola generica sul dominio. La procedura deve indicare condizione di attivazione, ambito, Retry-After, responsabile e condizione di rientro. Un 403 permanente o una sfida che nessun crawler può superare non sono equivalenti a un segnale temporaneo di capacità.
Una PMI deve davvero preoccuparsi del crawl budget?
Google precisa che la guida avanzata sul crawl budget è pensata soprattutto per siti con milioni di pagine, per portali con almeno diecimila URL aggiornate ogni giorno o per siti con molte pagine scoperte ma non indicizzate. Un normale sito aziendale non deve inseguire ottimizzazioni complicate: sitemap aggiornata e controllo periodico dell’indicizzazione sono di solito sufficienti.
La migrazione CDN è diversa. Anche un catalogo più contenuto può subire un problema operativo se l’origine è sottodimensionata, la cache parte vuota o il firewall blocca i crawler legittimi. Il punto non è aumentare artificialmente il crawl budget, ma evitare che una modifica infrastrutturale renda il sito instabile o invisibile.
La priorità resta il funzionamento per le persone: pagine rapide, ordini completi, form funzionanti e contenuti aggiornati. Il monitoraggio dei crawler aiuta a diagnosticare la migrazione, non sostituisce le verifiche commerciali e applicative.
Un piano operativo in tre fasi
Prima del passaggio si fotografano prestazioni e carico attuali, si definiscono regole di cache e WAF, si verificano i crawler, si prepara il preriscaldamento e si stabiliscono soglie e rollback. È la fase in cui coinvolgere chi gestisce sito, hosting, DNS, sicurezza e campagne: nessuno di questi pezzi vede da solo l’intero percorso.
Durante il cambio si parte con un perimetro limitato quando il provider lo consente, si preriscaldano le URL prioritarie a ritmo controllato e si osservano insieme edge e origine. Ogni anomalia va collegata a un’ora, una regola e una URL; cambiare più impostazioni contemporaneamente rende difficile capire quale intervento abbia risolto o creato il problema.
Dopo il passaggio si verificano funzioni reali, log, Search Console, sitemap, errori e tempi di risposta. Le esenzioni troppo ampie vengono ristrette, le regole temporanee rimosse e la configurazione documentata. Una migrazione è conclusa quando il sito è veloce e stabile, l’origine è protetta, i crawler legittimi ricevono contenuti corretti e il team sa come intervenire al prossimo picco.
- Prima: baseline, regole, crawler verificati, pre-warming, soglie e rollback.
- Durante: attivazione controllata, log correlati, una modifica alla volta.
- Dopo: test funzionali, Search Console, pulizia delle eccezioni e documentazione.
La visual racconta una distribuzione progressiva, non un interruttore
La visual editoriale è stata creata con il supporto di strumenti di intelligenza artificiale generativa e rifinita nella palette Scenicom. Non contiene interfacce, marchi o testo. Il nodo d’origine alimenta progressivamente una rete ordinata di cache, mentre solo alcuni percorsi risultano già attivi.
L’immagine riassume il principio della migrazione: la rete distribuita diventa efficace per fasi. Preparare i nodi prioritari, osservare il carico e mantenere stabile l’origine è più sicuro che considerare la CDN una protezione immediata e automatica.
Stai spostando il sito dietro una CDN o un nuovo firewall?
Verifichiamo configurazione, cache, sicurezza, indicizzazione e monitoraggio prima del cambio, così la velocità non diventa un rischio per continuità e visibilità.
Domande frequenti
In breve.
01Una CDN migliora automaticamente la SEO?
No. Può migliorare prestazioni e resilienza, ma la visibilità dipende anche da accessibilità, contenuti, indicizzazione e configurazione corretta. Una CDN o un WAF mal configurati possono invece mostrare errori o challenge ai crawler.
02Perché il server d’origine riceve più traffico subito dopo la migrazione?
Le cache distribuite sono inizialmente vuote: ogni prima richiesta a una risorsa genera un cache miss e raggiunge l’origine. Inoltre un edge veloce può segnalare ai crawler che il sito ha maggiore capacità, se esiste domanda di scansione.
03È sicuro autorizzare Googlebot tramite user-agent?
No, il nome può essere imitato. Google raccomanda di verificare gli indirizzi con gli elenchi IP ufficiali oppure tramite DNS inverso e successivo DNS diretto.
04Posso bloccare temporaneamente Googlebot se l’origine è in difficoltà?
In emergenza Google indica risposte 429 o 503, eventualmente con Retry-After, per poche ore o al massimo uno o due giorni. Un blocco 403 o un CAPTCHA permanente non comunica correttamente una difficoltà temporanea.
05Quali pagine conviene preriscaldare?
Pagine con maggiore traffico, URL coinvolte in campagne o lanci imminenti e contenuti visitati spesso dai crawler. Il pre-warming va eseguito a ritmo controllato, misurando cache miss e carico dell’origine.
Fonti primarie
Documentazione consultata.
- Google Search Central — Moving to a CDN without overwhelming your origin (or blocking Googlebot)
- Google Crawling Infrastructure — Verify requests from Google crawlers and fetchers
- Google Crawling Infrastructure — Reduce the Google crawl rate
- Google Crawling Infrastructure — Optimize your crawl budget
- IETF — RFC 9110: HTTP Semantics
