Guida al posizionamento nei Motori di Ricerca

Robots.txt

Dettagli

Ultima modifica il Domenica, 02 Ottobre 2011 10:24

Per istruire gli spider su come indicizzare le pagine, oltre ad utilizzare il META TAG ROBOTS inserito in ogni pagina, è possibile raggruppare tutte le informazioni necessarie per un sito in un unico file di testo, presente obbligatoriamente nella root e con nome robots.txt
Utile per inibire alcune indicizzazioni, il file robots non ha alcuna ripercussione nel posizionamento.
È importante però non fidarsi ciecamente del file robots.txt per evitare che i motori di ricerca raggiungano contenuti riservati, perché non è detto che tutti lo prendano in considerazione.
Sintassi del contenuto del file robots.txt:

Tramite User-agent è possibile definire una serie di regole per ogni spider o, mettendo un carattere "*" come "[nome spider]" le regole varranno per tutti gli spider.
Tramite invece una serie di Disallow è possibile indicare agli spider quali cartelle e/o file non devono essere indicizzate.
Esempio di contenuto di un file robots: