Elenco completo dei crawler utilizzati da Google in modo da avere il controllo completo sull’indicizzazione delle pagine, puoi stabilire quali indicizzare e quali no.

Crawler utilizzati da vari prodotti e servizi di Google
Condizioni di utilizzo

Solo per uso personale e per la condivisione sui social tramite i bottoni presenti sull'immagine. Per la distribuzione su altri siti o blog è necessario inserire il link di attribuzione come segue:
<a href="https://www.immagini-gratis.it/guide-informatiche/crawler-di-google/utilizzati-da-prodotti-e-servizi_149">Immagini-gratis</a>

Stampa

Stampa questa immagine. su carta A4.

Personalizza

Modifica con l'editor online gratuito.

Scarica

Salva questa immagine con il download.

Se vuoi che tutto Google sia in grado di eseguire la scansione delle tue pagine, non hai affatto bisogno di un file robots.txt. Se desideri bloccare o consentire a tutti i crawler di Google di accedere ad alcuni dei tuoi contenuti, puoi farlo specificando Googlebot come user agent. Ad esempio, se desideri che tutte le tue pagine vengano visualizzate nella Ricerca Google e desideri che gli annunci AdSense vengano visualizzati nelle tue pagine, non è necessario un file robots.txt. Allo stesso modo, se desideri bloccare del tutto alcune pagine di Google, il blocco dello Googlebot user agent bloccherà anche tutti gli altri user agent di Google.

Ma se vuoi un controllo più dettagliato, puoi ottenere un controllo più specifico. Ad esempio, potresti voler visualizzare tutte le tue pagine nella Ricerca Google, ma non desideri che le immagini nella tua directory personale vengano scansionate. In questo caso, utilizza robots.txt per impedire allo Googlebot-Imageuser agent di eseguire la scansione dei file nella tua directory personale (consentendo al contempo a Googlebot di eseguire la scansione di tutti i file)

TAGS

Altre IMMAGINI simili


Panoramica dei crawler di Google

Crawler (a volte chiamato anche robot o spider) è un termine generico per qualsiasi programma utilizzato per scoprire e scansionare automaticamente i siti Web seguendo i collegamenti da una pagina Web all'altra.

Guide Informatiche