Que tal engel lex, disculpa por la demora pero he andado algo ocupado con el mismo tema y se me fue regresar a dar continuidad....
Te colo imagen de una de las varias IPs que simplemente no dan prenda para sacar si es o no un bot
Esa imagen es una forma en como dentro de mi sistema de trafico resguardo e identifico la informacion de los usuarios que acceden, como notaras en la ultima columna derecha se capturaron 5 variables: Referer, Request, UserAgent, Accept y Encoding.... La variable LANGUAGE_ENCODING no esta porque simplemente es un "flag" que se mando vacio, por ende el sistema no la guarda.
Para el caso de esa IP, no hubo de otra mas que hacerle "whois" para darse cuenta que es un Bot de la compa~ia OVH-SERVERS, esta compa~ia tiene un montononon de servidores entrando como locos a buscar paginas, y es uno de los servers que mas accesos generan en mis portales web, hasta mas que google....
Ye este es otro de los que mas dolores de cabeza cauzan, los bots Chingos y Koreanos :S... practicamente se comportan como un navegador y no dan prenda para detectarlos.
Y visitantes de plano como el de la sig. imagen son de los que no puedo etiquetar su Rango de IPs por que puede que sea una visita de usuario real o simplemente "una botnet en proceso"....
Finalmente este de plano es imposible... ya que haces whois veras que es el Bot de Google... Pero de entreda no rellena ningun campo: ni encode, ni useragent, nada.. solo el request y query.
Saludos !