Come creare un file robot per i motori di ricerca

Ecco una piccola guida su come creare il file di Robots.txt
http://www.rankfirst.info/seo-di-base/robots-txt-guida-su-come-creare-un-file-robot-per-i-motori-di-ricerca/

# robots.txt

User-agent: *
Disallow: /admin/login/ # Questo è uno spazio virtuale infinito per URL
Disallow: /tmp/ # cartella temporanea
Disallow: /quelchetipare.html
Sitemap: http://www.miosito.com/sitemap.xml