Crawler (a volte chiamato anche robot o spider) è un termine generico per qualsiasi programma utilizzato per scoprire e scansionare automaticamente i siti Web seguendo i collegamenti da una pagina Web all’altra.

Panoramica dei crawler di Google
Condizioni di utilizzo

Solo per uso personale e per la condivisione sui social tramite i bottoni presenti sull'immagine. Per la distribuzione su altri siti o blog è necessario inserire il link di attribuzione come segue:
<a href="https://www.immagini-gratis.it/guide-informatiche/crawler-di-google_148">Immagini-gratis</a>

Stampa

Stampa questa immagine. su carta A4.

Personalizza

Modifica con l'editor online gratuito.

Scarica

Salva questa immagine con il download.

Il crawler principale di Google si chiama Googlebot. Questa tabella elenca informazioni sui comuni crawler di Google che potresti vedere nei tuoi log referrer e su come specificarli in robots.txt , nei meta tag robots e nelle X-Robots-Tag direttive HTTP .

 

La tabella seguente mostra i crawler utilizzati da vari prodotti e servizi di Google:

  • Il token dell'agente utente viene utilizzato nella User-agent:riga in robots.txt per abbinare un tipo di crawler durante la scrittura delle regole di scansione per il tuo sito. Alcuni crawler hanno più di un token, come mostrato nella tabella; per applicare una regola è necessario abbinare un solo token crawler. Questo elenco non è completo, ma copre la maggior parte dei crawler che potresti vedere sul tuo sito web.
  • La stringa completa dell'agente utente è una descrizione completa del crawler e viene visualizzata nella richiesta e nei registri Web.

TAGS