El archivo robots también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.
Este archivo robots.txt es también fundamental para el SEO y en Presatshop podemos generarlo de forma muy simple que vamos a explicarte ahora mismo.
Puedes generar el fichero robots.txt debes hacerlo desde Preferencias -> SEO y URLs en el apartado Generación de archivos Robots con el botón.
Una vez realizado podemos comprobar que efectivamente se ha generado correctamente nuestro fichero robots.txt, para ello tecleamos www.tudominio.com/robotos.txt
Hola, tengo un problema en el google search console, dice que no puede acceder al archivo robots.txt pero el archivo si que esta http://pcz.mx/robots.txt
y sigo los pasos que indicas y al dar click en el boton generar el archivo robots.txt solo se queda pensando y después de mucho tiempo sale un error
alguna idea para arreglar esto? por que google ya desindexo todas mis paginas
Hola, ¿puedes mandarnos alguna captura de pantalla del error que te aparece al intentar subir el archivo robots.txt?
Gracias