Título: Problema con bot Publicado por: diego_lp en 8 Diciembre 2010, 17:47 pm Hola a todos, tengo problemas para controlar el trafico no visto de mi sitio web por los distintos bots.
Eh configurado el archivo robots.txt de la siguiente manera: Código: User-agent: * Muchas gracias. Saludos. Título: Re: Problema con bot Publicado por: ~ Yoya ~ en 9 Diciembre 2010, 00:58 am Cita de: http://bit.ly/17mhqA El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan (ojo! recomendaciones, no obligaciones). Teniendo en cuenta esa información, yo veo bien el archivo robots.txt que usas... |