El archivo robots.txt es el herramienta clave para cualquier sitio que desea estar bien indexada por los buscadores como Bing. Opera como el mapa para los bots, indicándoles qué áreas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html