Il ruolo del file robots.txt per migliorare il posizionamento del sito!

Non molti web master prendere il tempo per utilizzare un file robots.txt per il loro sito web. Per i motori di ricerca che utilizzano il file robots.txt per vedere quali directory cercare attraverso il file robots.txt può essere molto utile a mantenere la spider di indicizzazione delle pagine reali e non altre informazioni, come ad esempio guardando attraverso le statistiche!

Il file robots.txt è utile per mantenere il vostro ragni dalle parti di accedere alle cartelle e file nella vostra directory di hosting che sono totalmente estranei ai contenuti del tuo attuale sito web. È possibile scegliere di avere i ragni tenuti fuori delle aree che contengono una programmazione che i motori di ricerca non può analizzare correttamente, e per tenerli fuori dal web stats parte del tuo sito.

Molti motori di ricerca non è possibile visualizzare correttamente i contenuti generati dinamicamente, principalmente creato da linguaggi di programmazione, come PHP o ASP. Se avete un negozio online programmato nel vostro account di hosting, ed è in una directory separata, si sarebbe saggio per bloccare i ragni da questa directory si trova so solo informazioni pertinenti.

Il file robots.txt deve essere collocato nella directory in cui i file principale per il vostro hosting sono situati. Quindi sarebbe consigliato di creare un file di testo vuoto, e salvarlo come file robots.txt, e poi caricarlo sul web hosting nella stessa directory si trova il file index.htm.

Ecco esempi di uso del file robots.txt:

Per bloccare una directory in un file robots.txt, come una sottodirectory per il tuo negozio online chiamato / store / si dovrebbe effettuare le seguenti operazioni:
Disallow: / store /

Un altro esempio di bloccare le tue statistiche di directory:
Disallow: / stats /

Si consiglia inoltre di non consentire i singoli file che non vuoi ricerche dai motori di ricerca. Ad esempio non volete search.php per essere analizzato da motori di ricerca. Per fare questo si digita quanto segue una propria linea:

Disallow: / search.php

Seguendo le regole descritte e creando il file robots.txt, osserverete i motori di ricerca di file indesiderati e directory, e permettendo loro di passare attraverso il file importanti per vedere che cosa il vostro sito web è tutto!