Foro de elhacker.net

Programación => Desarrollo Web => Mensaje iniciado por: diego_lp en 8 Diciembre 2010, 17:47 pm



Título: Problema con bot
Publicado por: diego_lp en 8 Diciembre 2010, 17:47 pm
Hola a todos, tengo problemas para controlar el trafico no visto de mi sitio web por los distintos bots.
Eh configurado el archivo robots.txt de la siguiente manera:
Código:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: bot
Disallow: /

User-agent: bot*
Disallow: /
Quisiera saber si esta bien configurado el archivo para que los bots no entren en los subdirectorios de mi public_html a buscar informacion y/o si me pueden dar algun otro consejo al respecto.
Muchas gracias.
Saludos.


Título: Re: Problema con bot
Publicado por: ~ Yoya ~ en 9 Diciembre 2010, 00:58 am
Cita de: http://bit.ly/17mhqA
El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan (ojo! recomendaciones, no obligaciones).
Teniendo en cuenta esa información, yo veo bien el archivo robots.txt que usas...