13. Ahórrale trabajo a Google. Utilizando archivos del tipo robots.txt. Este tipo de archivos sirve para impedir que los buscadores indexen ciertas páginas, para bloquear el acceso a archivos y directorios, impedir que se indexe el contenido duplicado o indicar la ruta del archivo sitemap.xml, que ayuda a los rastreadores en la lectura de la web. Las arañas encargadas de rastrear nuestras webs tienen asignado un valor de tiempo a nuestro sitio y si les decimos qué páginas son prescindibles de rastrear,