Comment créer un robot.txt ?

Le fichier robots.txt est un fichier texte utilisé pour le référencement naturel des sites web contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

• Exclusion de toutes les pages :

User-Agent: *    
Disallow: /

• Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :

User-Agent: *    
Disallow: 

• Autorisation d'un seul robot :

User-Agent: nomDuRobot    
Disallow :    
User-Agent: *    
Disallow: /

• Exclusion d'un robot :

User-Agent: NomDuRobot    
Disallow: /    
User-Agent: *    
Disallow:

• Exclusion d'une page :

User-Agent: *    
Disallow: /repertoire/chemin/page.html

• Exclusion de plusieurs page :

User-Agent: *    
Disallow: /repertoire/chemin/page.html    
Disallow: /repertoire/chemin/page2.html    
Disallow: /repertoire/chemin/page3.html

• Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

User-Agent: *    
Disallow: /repertoire/