El fichero robots.txt es el recurso fundamental para cualquier sitio web que busca estar bien vista por los motores de búsqueda como Chrome . Funciona como el instructivo para los crawlers , indicándoles qué secciones de tu web pueden deben rastreadas y cuáles evitar. La óptima configuración de este