// GEO · Generative Engine Optimization
Cosa sono i crawler AI e conviene bloccarli?
In breve
Sono i programmi con cui le aziende di AI leggono i siti, per addestrare i modelli o per cercare informazioni in tempo reale. Puoi consentirli o bloccarli dal file robots.txt.
Approfondimento
Esistono crawler diversi con scopi diversi: alcuni raccolgono dati per l'addestramento, altri servono a dare risposte aggiornate con link alla fonte. Bloccarli tutti significa rinunciare a essere citati.
La decisione dipende dalla tua strategia: un sito che vive di visibilità ha di solito interesse a farsi leggere. I nomi e le regole cambiano, quindi consulta la documentazione di ogni fornitore.
Cosa fare in pratica
- Decidi per iscritto cosa consentire.
- Controlla robots.txt dopo ogni modifica del sito.
- Verifica nei log quali bot visitano le pagine.