File robots.txt

[Luzz]

Ciao Webmasters,

è da poco più di un mese che mi sto addentrando nello studio delle funzionalità di Google.

Ho iniziato ad utilizzare Sitemaps, per tenere un po' sotto controllo le PageRank, se si verificano errori nell'aprire le mie pagine, ecc...

Vedo un continuo accennare al file robots.txt, che dovrebbe essere presente nel mio spazio. Ma di preciso che funzionalità ha questo file? Potrebbe aumentare le mie PageRank in determinate parole di ricerca? Aiuta Google ad indicizzarmi?

Spero riusciate a chiarirmi qualche dubbio...

Luzz :wink:

[Ce]

Il file robots.txt è un semplice file di testo che va messo alla radice del tuo sito. Come dice il nome, il file serve per dare delle istruzioni ai cosiddetti robot, ovvero dei programmi che visitano periodicamente delle pagine web, come i crawler dei motori di ricerca - Googlebot è il robot di Google per esempio.

Il file robots.txt è il primo file che viene richiesto a un server da un robot - ecco perchè vedi un sacco di richieste nei tuoi log. Per saperne di più, puoi leggere qui:

http://www.robotstxt.org/

http://en.wikipedia.org/wiki/Robots.txt

:P

[Luzz]

Grazie, praticamente io do le info ai vari crawler riguardo a dove possono e dove nn posso entrare, disabilitarne ed abilitarne altri... ecc...

Giusto?

Grazie

Luzz :wink: