Foro de elhacker.net

Programación => Scripting => Mensaje iniciado por: Kase en 27 Abril 2013, 18:35 pm



Título: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: Kase en 27 Abril 2013, 18:35 pm
les comparto este script que realiza para sacar emails de una web usando una arañita que recorre enlaces internos...

lo comparto por si se les ocurre modificaciones poder mejorarlo

repo git > https://github.com/Boredsoft/email-spider (https://github.com/Boredsoft/email-spider)

** acepta parametros
-url       obligatorio con formato  http://somthing.com/   (la / final es necesaria)
-max_links  maxima cantidad de links a analizar antes de cortar el programa y guardar
-max_emails  maxima cantidad de emails a obtener antes de finalizar el programa y guardar
-external    acepta links externos, pero si no se usa junto con max_links o max_emails el programa nunca se detendra :(

** si la conexion de internet se cae el programa espera 30 segundos para reanudarse
** no se traba con enlaces muertos
** uso de "sort" para revisar enlaces con mayor probabilidad de tener email despues de cierto tiempo

Citar
fix 3.0
soporte para mas sistemas operativos
mejor detección de emails mediante el regex
fix v 2.0
ahora detecta mas tipos de urls internas
ahora detecta si es windows o linux para usar el comando correcto de limpiar pantalla.


Código
  1. # -*- coding: utf-8 -*-
  2. ## by kase: kase@boredsoft.com   colaboraciones: EleKtro H@cker
  3. import requests,re,os,time,sys
  4. from argparse import ArgumentParser, RawTextHelpFormatter
  5.  
  6. parser = ArgumentParser(description="email spider", version="3.0", formatter_class=RawTextHelpFormatter)
  7. ## -url
  8. parser.add_argument("-url",  dest="url", help='url a analizar en formato http://web.com/')
  9. ## -max_links links
  10. parser.add_argument("-max_links",  dest="max_links", help='maximo de links internos a analizar')
  11. ## -max_emails emails
  12. parser.add_argument("-max_emails",  dest="max_emails", help='maximo de emails a analizar')
  13. ## -external  default False
  14. parser.add_argument("-external",  dest="external", help='investigar links externos [si|no]')
  15.  
  16. argumento = parser.parse_args()
  17.  
  18.  
  19.  
  20. url_web = argumento.url
  21. url_web_limpio = argumento.url.replace('http://','').replace('/','').replace('www.','')
  22. links_internos = ['/']
  23. links_visitados = []
  24. emails_capturados = []
  25. mailsrch = re.compile(r"[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+(?:[A-Z]{2}|com|org|net|edu|gov|mil|biz|info|mobi|name|aero|asia|jobs|museum|mx|com\.mx|xxx|tv|tk)\b")
  26. #old mailsrch = re.compile(r'[\w\-][\w\-\.]+@[\w\-][\w\-\.]+[a-zA-Z]{2,6}')
  27. urlssrch = re.compile(r'href=[\'"]?([^\'" >]+)')
  28. contador = 0
  29. while links_internos:
  30. try:
  31. ## saca el ultimo link de la lista
  32. ##print links_internos
  33. link = links_internos.pop()
  34. ## añade ese link a visitados, para no volverlo a tener en cuenta
  35. links_visitados.append(link)
  36. if link[0] == '/' or link == '':
  37. r=requests.get(url_web+''+link)
  38. else:
  39. r=requests.get(link)
  40. links = urlssrch.findall( r.text)
  41. ##print 'xxxxxxxxxxxxx', links
  42. emails = mailsrch.findall(r.text)
  43. ## guarda todos los emails que se topa checando que no existan repeticiones
  44. for email in  emails:
  45. if email not in emails_capturados:
  46. emails_capturados.append(email)
  47. ## guarda todos los links internos que se tope checando que no existan en la cola o en vistados
  48. for link in links:
  49. if not argumento.external:  ## verifica si usar enlaces externos o no
  50. if link[0] == '/' or url_web_limpio in link:
  51. if link not in links_internos and link not in links_visitados:
  52. links_internos.append(link)
  53. elif  argumento.external == 'si':
  54. if link not in links_internos and link not in links_visitados:
  55. links_internos.append(link)
  56. contador +=1
  57. ## informacion en pantalla
  58. if contador % 50 == 0:
  59. if sys.platform.startswith('win'):
  60.    # Windows
  61.    os.system('cls')
  62. elif sys.platform.startswith('linux'):
  63.    # Linux
  64.    os.system('clear')
  65. elif sys.platform.startswith('cygwin'):
  66.    # Windows (Cygwin)
  67.    os.system('cmd /c cls')
  68. elif sys.platform.startswith('darwin'):
  69.    # MacOSX
  70.    os.system('clear')
  71. elif sys.platform.startswith('freebsd'):
  72.    # FreeBSD
  73.    os.system('clear')
  74. print 'web atacada:', url_web
  75. print 'total de emails obtenidos:', len(emails_capturados)
  76. print 'urls recorridas: ', len(links_visitados)
  77. print 'urls faltantes: ', len(links_internos)
  78. print '-----  (~._.)~ '
  79. ## pequeño arreglo para tener mas chanse de optener emails en web grandes
  80. ## primero analiza los enlaces internos mas cortos  y despues de un tiempo, analiza los mas largos primero
  81. ## en paginas tipo blog, los enlaces mas largos son los de las post con comentarios donde posiblemente existan emails
  82. if contador %10000 == 0:
  83. if contador <= 10000:
  84. links_internos.sort(reverse=True)
  85. else:
  86. links_internos.sort()
  87. ## si ahi un maximo de links internos  rompe el ciclo y termina
  88. if argumento.max_links:
  89. if contador >= int(argumento.max_links):
  90. break
  91. ## si ahi un maximo de emails capturados rompe el ciclo y termina
  92. if argumento.max_emails:
  93. if len(emails_capturados) >= int(argumento.max_emails):
  94. break
  95. ## si la conexion se cae duerme el proceso 20 segundos y reintenta
  96. except:
  97. r = os.system('ping -c 1 google.com') ## checa si hay conexion de internet
  98. if r == 0:  #si existe conexion elimina el enlace muerto
  99. link = links_internos.pop()
  100. else: ##sino espera 20 segundos a que se reanude la conexion de internet
  101. time.sleep(30)
  102. if sys.platform.startswith('win'):
  103.    # Windows
  104.    os.system('cls')
  105. elif sys.platform.startswith('linux'):
  106.    # Linux
  107.    os.system('clear')
  108. elif sys.platform.startswith('cygwin'):
  109.    # Windows (Cygwin)
  110.    os.system('cmd /c cls')
  111. elif sys.platform.startswith('darwin'):
  112.    # MacOSX
  113.    os.system('clear')
  114. elif sys.platform.startswith('freebsd'):
  115.    # FreeBSD
  116.    os.system('clear')
  117. print 'web atacada:', url_web
  118. print 'total de emails obtenidos:', len(emails_capturados)
  119. print 'urls recorridas: ', len(links_visitados)
  120. print 'urls faltantes: ', len(links_internos)
  121. print '-----  (~._.)~ CONEXION CAIDA, ESPERANDO 30 SEGUNDOS (X__X)'
  122.  
  123. f = open('%s.txt' % url_web.replace('http://','').replace('/','').replace('.','_'),'w+')
  124. f.write("\n".join(emails_capturados))
  125. f.close()
  126.  
mejoras en las que pueden ayudarme
 no soy muy bueno con expresiones regulares

estas me funcionan en el 90 de los casos, pero derrepente tienen errores (como cuando alguien usa el @ como a/o,   o no detecta urls internas si no comienzan con /)
  
mailsrch = re.compile(r'[\w\-][\w\-\.]+@[\w\-][\w\-\.]+[a-zA-Z]{1,4}')
urlssrch = re. compile(r'href=[\'"]?/([^\'" >]+)')



funciones que pienso agregar a futuro

** comandos para pausar las tarea y guardar donde se quedaron
** serializar cada cierto tiempo la tarea  para no perder el trabajo cuando se reinicie la computadora forzosamente


 ::)


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: daryo en 28 Abril 2013, 14:40 pm
yo le pondria que ademas de esto busque con dorks en google paginas que puedan tener mails


spamer  ;D

buen aporte jeje




Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Kase en 29 Abril 2013, 06:01 am
interesante....  explicame un poco mas la idea, y podria interesarme sacarla :D

estoy por comenzar una campaña de mailing de varias webs...  mas emails a disposicion no estaria mal...


para burlar los filtros antispam uso  send blaster.... auke e considerado hacer todo una aplicacion yo mismo para mandar los emails y sacarlos de webs y contruir listas e base a criterios


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: daryo en 29 Abril 2013, 21:43 pm


pues me refiero a que ademas de poderle pasar de parametro la web a buscar mails usar tambien avanzadas en google como estas:
inurl:contact
inurl:nosotros.php
tambien se puede usar intitle:contactenos
 o cosas asi
en los que es bastante probable encontrar mails eso seguro aumentaria bastante la lista de mails a spamear :D


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Kase en 30 Abril 2013, 05:27 am

pues me refiero a que ademas de poderle pasar de parametro la web a buscar mails usar tambien avanzadas en google como estas:
inurl:contact
inurl:nosotros.php
tambien se puede usar intitle:contactenos
 o cosas asi
en los que es bastante probable encontrar mails eso seguro aumentaria bastante la lista de mails a spamear :D


pues tienes razon en eso, pero por ejemplo yo uso la araña  para solarta en una web de tematica X   de ese modo se que sus usuarios estan interesados en el tema..

quisas pueda hacer una busqueda en google por palabras algo asi como:
"palabra" @hotmail
 y luego recorrer los enlaces
asi encontraria emails de tematicas que me interesen.


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Franny en 30 Abril 2013, 19:16 pm
interesante, con un poco de ingenio podrías recorrer miles de webs mientras dejas el script en un servidor mandando spam xD


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Eleкtro en 30 Abril 2013, 20:22 pm
@Kase

He probado esto:
Código:
Kase.py -url http://elhacker.net/

Output:
Código:
carlos@cool

Solo me devuelve un "email", ¿Eso es normal? xD

Los parámetros de maxpages y maxmails son opcionales, ¿no? (también los he probado pero obtengo lo mismo).

PD: Lo has testeado en Windows?
PD2: Si esto funciona corréctamente le pongo una chincheta.

Muy bueno.


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Kase en 30 Abril 2013, 20:59 pm
@Kase

He probado esto:
Código:
Kase.py -url http://elhacker.net/

Output:
Código:
carlos@cool

Solo me devuelve un "email", ¿Eso es normal? xD

Muy bueno.

lo que pasa es que la pagina del hacker solo tiene links del tipo
<a href='www.elhacker.net/enlace_interno'>  
y la expresion regular que uso solo esta preparada para buscar
<a href='/encalce_interno/'>

como veras, ahi webs que  son  inmunes a esta expresion regular..  por ejemplo ah algunas que  solo tienes el dominio y todo lo interno se maneja mediante

<a href='www.elhacker.net?get=key' >


hacer una expresion regular que contemple todas las opciones no es imposible...
pero  mi conocimiento en expresiones regulares es limitado, por eso coloque aqui el script, para ver si me ayudan a mejorarlo...



Citar
Los parámetros de maxpages y maxmails son opcionales, ¿no? (también los he probado pero obtengo lo mismo).
los parametros max_linsk, y max_emails  si son  opcionales,  los coloque por que la primera web que ataque tenia mas de 80,000 enlaces internos y tras 24 horas solo abia recorrido 40,000  xD
 


Quiero hacer un sistema completo que pueda guardar los emails en una bd  con etiquetas para saber los intereses del email.  que este mismo pueda usar la araña  y que a su vez  puedan mandar los emails  con formato  html + txt_pano  y  mandar 1 cada x segundos (programado)  para burlar filtros anti spam

y de paso que pueda tambien aceptar importaciones csv y permita mandar los emails personalizados con nombre y otros datos...


con tiempo creo poder hacerlo en 1 semana, el problema es que ando muy cortito de dinero, y debo darle prioridad a un par de webs pendientes para las que me contrataron. aun asi, les informo  si me lanzo a hacerlo en 1 semana o dos




Citar
PD: Lo has testeado en Windows?
Código
  1. os.system('clear')

esta linea es para limpiar pantalla en linux, en windows creo que es diferente..  pero con poner la correcta deberia funcionar


Citar
PD2: Si esto funciona corréctamente le pongo una chincheta.
eso seria genial :D  ojala pronto quede la version que detecte mejor los enlaces internos.

por que el sistema que unifique la recoleccion  y el envio de emails ya no es scripting, en eso usaria  objetos y un framework como django para montar toda una buena interfaz de administracion.


Título: Re: script para sacar emails de paginas webs [python]
Publicado por: Eleкtro en 30 Abril 2013, 21:44 pm
Código
  1. os.system('clear')
ups, de haberlo visto estaba claro, no me fijé en el código la verdad xD solo le he dado un par de vueltas al regex.

Sobre la parte de mejorar la dinámica de los RegEx para aceptar el tipo de urls que has comentado no debería ser muy dificil, solo tienes que usar el operador "|" y añadir una expresión más a la derecha, así se dará por válida cualquiera de las dos expresiones (si se encuentra una de las dos).

Ejemplo:
Código:
(r'^href=expresión1$|^href=expresión2$')

Puedes usarlo las veces que quieras, aunque para usar las expresiones regulares extendidas primero se necesita que el regex que usa python séa el extendido... no lo he comprobado personálmente pero vamos, es python, me imagino que debe poder aceptar esos operadores.

En el regex del Mail usas {1,4}, pero yo lo cambiaria por {2,6} ya que existen dominios de 6 caracteres: http://en.wikipedia.org/wiki/List_of_Internet_top-level_domains y por lo que véo no existe ningúno de 1 solo caracter.
(Ya... quizás solo un 0,001% de la población mundial usa esos dominios... pero así es como se consigue la perfección xD.)

Espero que tu script vaya creciendo y mejorando poco a poco para que le podamos sacar todo el beneficio posible, ¡ESO SI, SIEMPRE SIN MALAS INTENCIONES! .

EDITO: Como innovación estaría bien que en una próxima versión añadas una opción para obtener sólamente los mails que acaben en ".net",".com" etc,  a elección del usuario.

Gracias por compartir.

Un saludo!


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: Kase en 30 Abril 2013, 22:53 pm
ya arregle lo de detectar mas tipos de webs

al final no lo ise con una expresion regular, por que  ahi muchas variaciones
ahora detecto todos los  href en bruto,  y luego los filtro  
si tienen el nombre de la web en la url o si empiezan con un /    se incluye como enlace interno, en su defecto se descarta

de este modo tambien resuelvo el problema de recorrer subdominios :D

Código
  1. url_web_limpio = argumento.url.replace('http://','').replace('/','').replace('www.','')
  2.  
  3.  
  4. if not argumento.external:  ## verifica si usar enlaces externos o no
  5. if link[0] == '/' or url_web_limpio in link:
  6. if link not in links_internos and link not in links_visitados:
  7. links_internos.append(link)
  8. elif  argumento.external == 'si':
  9. if link not in links_internos and link not in links_visitados:
  10. links_internos.append(link)
  11.  


ahora si EleKtro H@cker  puedes  hacer un

Citar
Kase.py -url http://elhacker.net/

pero si no usar un -max_emails 500 o -max_urls 10000  el programa nunca se detendra, el hacker es inmenso!



es en estos casos cuando la idea de daryo serviria

estaria padre poder lanzar el script con un

Citar
kase.py -google 'insite:elhacker.net  @hotmail'

de tal modo que aprobechemos el indice de google para que nos devuelva las urls indexeadas del hacker donde algun usuario dejo su correo electronico

PD: ahora si debo volver al trabajo!!!   no se cuando tenga la siguiente version D:


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: The_Mushrr00m en 1 Mayo 2013, 06:16 am
Que buen aporte bro.
Se mira bien.... le daré una leida a ver si se me ocurre alguna idea para expandirlo

Saludos..!  :P


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: Eleкtro en 1 Mayo 2013, 12:36 pm
La condicional donde detectas si es Win o Linux da error de sintaxis (al menos en py 2.7), mira a ver si lo puedes arreglar...

De paso te la extiendo por si quieres añadir más OS:
Código
  1. import sys,os
  2.  
  3. if sys.platform.startswith('win'):
  4.    # Windows
  5.    os.system('cls')
  6. elif sys.platform.startswith('linux'):
  7.    # Linux
  8.    os.system('clear')
  9. elif sys.platform.startswith('cygwin'):
  10.    # Windows (Cygwin)
  11.    os.system('cmd /c cls')
  12. elif sys.platform.startswith('darwin'):
  13.    # MacOSX
  14.    os.system('clear')
  15. elif sys.platform.startswith('freebsd'):
  16.    # FreeBSD
  17.    os.system('clear')

PD: No estoy seguro si el comando de MACOS es el correcto, lo he googleado un poco.

Saludos


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: Eleкtro en 1 Mayo 2013, 18:01 pm
Tal y como tienes ahora mismo el regex del email, no acepta este tipo de emails (debería):
Código:
"elektro69#@maniac.com"

Pero estos si los acepta (no debería):
Código:
"..elektro..@maniac.com"
"""""""elektro@maniac.com"

Lo mismo con el resto de caracteres especiales válidos para un email, no los acepta según el orden en el que estén.

He optimizado bastante el regex del email, mira a ver si puedes usarlo en python:

Código:
"^(?=.{1,254}$)[^\.]([\w-\!\#\$\%\&\'\*\+\-\/\=\`\{\|\}\~\?\^]+)([\.]{0,1})([\w-\!\#\$\%\&\'\*\+\-\/\=\`\{\|\}\~\?\^]+)[^\.]@((\[[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.)|(([\w-]+\.)+))([a-zA-Z]{2,6}|[0-9]{1,3})(\]?)$"

La parte local cumple todos estos requisitos:
Citar
The local-part of the e-mail address may use any of these ASCII characters:

        Uppercase and lowercase English letters (a-z, A-Z)
        Digits 0 to 9
        Characters ! # $ % & ' * + - / = ? ^ _ ` { | } ~
        Character . (dot, period, full stop) provided that it is not the first or last character, and provided also that it does not appear two or more times consecutively.

PD: también la detección de 2 puntos en la parte local: "a.b.c@hotmail.com"

Lo de sólo letras inglesas me lo he saltado porque juraría haber visto emails con la C trencada "Ç" y digo yo que los chinos, egipcios, etc... no usarán letras inglesas para sus emails.

La parte del dominio no la he exprimido del todo, aún tengo que informarme sobre los detalles, pero acepta por ejemplo "user@blabla.com.edu" y "user@blabla.museum", así que por el momento funciona genial el regex.

También falta limitar el regex a cadenas de menos de 254 caracteres según el límite válido para la longitud de un email.
He actualizado el RegEx para que solo encuentre cadenas de menos de hasta 254 caracteres.

Un saludo!


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: Kase en 1 Mayo 2013, 20:29 pm
sorprendente! me estas enctuciasmando a llebar esto mas alla del simple script y convertirlo en un sistema... en unas horas actualizo con calma :D


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: #!drvy en 2 Mayo 2013, 03:17 am
Hola,

Vengo a trollear un poco xD

Sabiais que

Código:
asdasd@64.233.161.83

Es un correo valido ? xD Lo propongo como idea nada mas.. lo mismo pasa con las direcciones IPv6 pero esas no las admite ni gmail xD

Saludos


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: Eleкtro en 2 Mayo 2013, 06:35 am
pues yo no lo sabia xD y para nada me parece trolleamiento que nos aclares esas cosas.

estaría bien que aportases más datos al tema si ves que nos hemos saltado algún otro detalle como el que has comentado, para hacer el regex perfecto.

..como por ejemplo saber el límite de "Second-level and lower level domains" de un email, si es que hubiera algún límite (sin tener en cuenta el límite de caracteres de un email).

Bueno, un saludo!


Título: Re: script para sacar emails de paginas webs [python] [v2.0]
Publicado por: #!drvy en 2 Mayo 2013, 07:05 am
Técnicamente puede haber hasta 127 sub niveles de dominio. Osease, w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.w.........com xD

En ningún caso, el dominio (completo) puede exceder los 253 caracteres y los nombres de los "sub-dominios" no pueden exceder de los 63. Esto significa básicamente que en: parte3.parte2.com, parte3 o parte2 no pueden exceder de los 63 caracteres.

Mas info aquí:

2.3.4. Size limits
http://tools.ietf.org/html/rfc1035

PD: El dominio mas largo del mundo xD
http://www.thelongestdomainnameintheworldandthensomeandthensomemoreandmore.com/
http://www.thelongestlistofthelongeststuffatthelongestdomainnameatlonglast.com

Son iguales de longitud (63 caracteres) pasa que este tipo de fuente... no es monospace xD


Básicamente (según mis cálculos) lo que quiere decir esto es que en un correo (nombre@dominio.com) el nombre no debería de exceder los 63~64 caracteres para que se adapte a cualquier dominio.

Y si queréis una cuenta email con un dominio largo..
abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijk.com ofrece cuentas gratuitas xD

Saludos


Título: Re: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: Kase en 2 Mayo 2013, 08:31 am
Citar
"^(?=.{1,254}$)[^\.]([\w-\!\#\$\%\&\'\*\+\-\/\=\`\{\|\}\~\?\^]+)([\.]{0,1})([\w-\!\#\$\%\&\'\*\+\-\/\=\`\{\|\}\~\?\^]+)[^\.]@((\[[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.)|(([\w-]+\.)+))([a-zA-Z]{2,6}|[0-9]{1,3})(\]?)$"

no me a servido xD  no se por que, pero marca error... y por mas que le busco y le busco, no lo logro..

pero esta otra si funciono

Código
  1. mailsrch = re.compile(r"[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+(?:[A-Z]{2}|com|org|net|edu|gov|mil|biz|info|mobi|name|aero|asia|jobs|museum|mx|com\.mx|xxx|tv|tk)\b")
  2.  




y en otras noticias, estuve trasteando  el codigo html de google ala par que la api de custom search...
la api es una basura diseñada para no explotarse conestos fines u__u

pero el codigo html no... el chiste es desactiva el javascript, pero al pedir la web mediante python automaticamente la sirve preparada para no usar javascript

entonces nos encontramos con que la url victima viene en formato

Citar
<a href="/url?q=http://www.elhacker.net/&amp;sa=U&amp;ei=JQeCUdz3DoK49QSYvoDAAQ&amp;ved=0CCEQFjAA&amp;usg=AFQjCNE8PCIInwOQ84p63ylCDShXtjtiAA">


quisas una expresion regular pueda identificar los links /url?   y extraer de los parametros get la web a la que se quiera atacar...
nuevamente mi conocimiento es bajo en expresiones regulares u__u


aun asi espero hacer un script alterno al cual se le puedan pasar parametros de busqueda de google...

asiendo este script, me lanzo a hacer el sistema mas completo xD


Título: Re: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: Kase en 22 Julio 2013, 05:41 am
porcierto aqui esta el que hace busquedas en google  :3

no esta terminado, por que google te banea aveces.. xD pero igual a alguien le interesa.


Código
  1. # -*- coding: utf-8 -*-
  2. ## by kase: kase@boredsoft.com  
  3. import requests,re,os,time,sys
  4. from argparse import ArgumentParser, RawTextHelpFormatter
  5.  
  6.  
  7. parser = ArgumentParser(description="google dorks email spider ", version="1.0", formatter_class=RawTextHelpFormatter)
  8. ## -url
  9. parser.add_argument("-b",  dest="busqueda", help='Cadena a buscar en google entre comillas')
  10. ## -max_links links
  11. parser.add_argument("-p",  dest="paginas", help='Maximo de paginas a analizar en google (cada pagina contiene 10 enlaces) por defecto 10')
  12. argumento = parser.parse_args()
  13.  
  14. dominio = 'http://google.com.mx'
  15. mailsrch = re.compile(r"[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+(?:[A-Z]{2}|com|org|net|edu|gov|mil|biz|info|mobi|name|aero|asia|jobs|museum|mx|com\.mx|xxx|tv|tk)\b")
  16. urlssrch = re.compile(r'href=[\'"]?([^\'" >]+)')
  17. googlesrch = re.compile(r'href=[\'"]?/url\?q=([^\'" &]+)')
  18. contador = 0
  19. links_internos = []
  20. links_visitados = []
  21. emails_capturados = []
  22. if not argumento.paginas:
  23. paginas = 10
  24. else:
  25. paginas = argumento.paginas
  26.  
  27. ## recorre las paginas de google (de 10 en 10)
  28. for x in range(0,paginas):
  29. r=requests.get(dominio+''+'/search?q=%s&start=%s&num=100' % (argumento.busqueda,contador))
  30. contador +=100
  31.  
  32. links_google = googlesrch.findall( r.text)
  33. ##recorre los links que arroje los resultados de google
  34. for link in links_google:
  35. time.sleep(15)
  36. r2=requests.get(link)
  37. emails = mailsrch.findall(r2.text)
  38. ##detecta los emails encontrados en la web de resultado
  39. for email in  emails:
  40. if email not in emails_capturados:
  41. emails_capturados.append(email)
  42. ## recorre un nivel en los enlaces de la web resultado bajo la teoria de que deben ser de tematica similar
  43. links = urlssrch.findall( r2.text)
  44.  
  45. ########## informe de pantalla
  46. if sys.platform.startswith('win'):
  47.    # Windows
  48.    os.system('cls')
  49. elif sys.platform.startswith('linux'):
  50.    # Linux
  51.    os.system('clear')
  52. elif sys.platform.startswith('cygwin'):
  53.    # Windows (Cygwin)
  54.    os.system('cmd /c cls')
  55. elif sys.platform.startswith('darwin'):
  56.    # MacOSX
  57.    os.system('clear')
  58. elif sys.platform.startswith('freebsd'):
  59.    # FreeBSD
  60.    os.system('clear')
  61. print 'parametro de busqueda: ' , argumento.busqueda
  62. print 'pagina checada: ', contador/10
  63. print 'paginas por checar: ', paginas - (contador/10)
  64. print 'emails capturados: ', len(emails_capturados)
  65. print 'url victima actual: ', r2.url
  66. ##fin de informe de pantalla
  67.  
  68. while links:
  69. try:
  70. link = links.pop()
  71. if not link[0] == '/':
  72. r3=requests.get(link)
  73. ##else:  falta codigo para detectar el dominio :(
  74. except:
  75. ci = os.system('ping -c 1 google.com') ## checa si hay conexion de internet
  76. if ci == 0:  #si existe conexion elimina el enlace muerto
  77. link = links.pop()
  78.  
  79. #guarda emails de el nivel 2.
  80. emails = mailsrch.findall(r3.text)
  81. for email in  emails:
  82. if email not in emails_capturados:
  83. emails_capturados.append(email)
  84.  
  85. f = open('google_%s.txt' % argumento_busqueda.replace('.','_'),'w+')
  86. f.write("\n".join(emails_capturados))
  87. f.close()
  88.  


Título: Re: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: binario010101 en 7 Agosto 2013, 20:18 pm
hola amigo

estoy interesado en el tema pero no se como usar el codigo me puedes explicar?

gracias


Título: Re: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: zimmerman en 8 Octubre 2013, 13:55 pm
Estaría más bueno todavía, si también se pudiera con paginas con dominio no http.. Algo asi como..
martasicaria.designweb.edu.ar <--- SÓLO UN EJEMPLO, ESA PAGINA NO EXISTE.. No se si han entendido a lo que me refería.. Vamos a seguir aportando a ver si logramos un SUPER-SYSTEM!


Título: Re: script para sacar emails de paginas webs [python] [v3.0]
Publicado por: Afterlife en 25 Febrero 2014, 14:54 pm
Hola buenas, perdón por resucitar el hilo, pero necesito este script :P.

Estoy usándolo en Ubuntu 12.04 LTS y cuando uso el parámetro max_emails, y encuentra un email no lo muestra por pantalla. ¿Alguien sabe porqué?

EDIT: Por ejemplo si pongo -url http://victima.net -max_emails 1 no me muestra nada por pantalla, cuando debería mostrarme el primer email que encuentre. ¿No?.

Un saludo.