Come creare un file txt di robot

Quando i motori di ricerca arrivano a un sito web, iniziano a cercare il file robots.txt per leggerlo. Dipenderà dal suo contenuto in modo che lo spider del motore di ricerca continui all'interno del sito o vada su un altro.
Il file robots.txt contiene un elenco di pagine che possono essere indicizzate dal motore di ricerca, a sua volta limitando selettivamente l'accesso a determinati motori di ricerca.

Questo è un file ASCII che deve trovarsi nella radice del sito. I comandi che può contenere sono:
Utente agente: Serve per specificare quale robot seguirà gli ordini che vengono presentati.
Non permettere: Viene utilizzato per identificare quali pagine verranno escluse durante il processo di analisi da parte del motore di ricerca. È importante che ogni pagina da escludere abbia righe separate e inizi anche con il simbolo /. Con questa simbologia si sta specificando; a "tutte le pagine del sito".
È estremamente importante che il file robots.txt non contenga righe vuote.
Alcuni esempi sono mostrati di seguito;

• Quando vuoi escludere tutte le pagine; l'agente utente è: Non consentire: /.
• Se l'obiettivo non è escludere nessuna pagina, allora il file robotos.txt non deve esistere sul sito, cioè tutte le pagine del sito verranno visitate allo stesso modo.

• Quando un particolare robot viene escluso sarà:
• Utente agente: Nome robot Non consentire: / Utente agente: * Non consentire:

• Quando una pagina è esclusa; Utente agente: * Non consentire: /directory/path/page.html

• Quando tutte le pagine di una directory sono escluse dal sito Web con le relative sottocartelle, lo sarà; Utente agente: * Non consentire: / directory /

Con questo file puoi impedire ai motori di ricerca di accedere a determinate pagine o directory, puoi anche bloccare l'accesso a file o determinate utilità.
Un'altra caratteristica è quella di impedire l'indicizzazione dei contenuti duplicati trovati sul sito, così da non essere penalizzati.
Un'altra considerazione da tenere in considerazione è che alcuni robot potrebbero ignorare le istruzioni presentate in questo file e deve anche essere chiaro che il file è pubblico poiché chiunque scriva www.example.com/robots.txt potrebbe accedervi.
Ora la domanda potrebbe essere; Come generare il file robots.txt?
In realtà è abbastanza semplice poiché è un documento di testo con il nome "robots.txt" e quindi caricalo nella radice del dominio della pagina, è lì che i motori di ricerca andranno a cercarlo per essere letto.
Un file robots.txt di base può essere:
Agente utente: *
Non consentire: / privato /
Vengono generate istruzioni per negare l'accesso a una directory che sarà "privata" per tutti i motori di ricerca.
Il comando determina che è indirizzato a tutti i robot (User-agent: *), specificando che la directory non è consentita (Disallow: / private /).
Il parametro utilizzato per il motore di ricerca di Google è; Agente utente: Googlebot
Come accennato in precedenza, il suo utilizzo in SEO viene utilizzato per limitare l'accesso dei robot a contenuti duplicati.Ti è piaciuto e hai aiutato questo Tutorial?Puoi premiare l'autore premendo questo pulsante per dargli un punto positivo