elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Los 10 CVE más críticos (peligrosos) de 2020


+  Foro de elhacker.net
|-+  Programación
| |-+  Scripting
| | |-+  [PYTHON-DUDA] IncompleteRead
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] 2 Ir Abajo Respuesta Imprimir
Autor Tema: [PYTHON-DUDA] IncompleteRead  (Leído 4,449 veces)
O-LLOS-O


Desconectado Desconectado

Mensajes: 324


tengo 14 invitaciones para locker-z enviar mp


Ver Perfil
[PYTHON-DUDA] IncompleteRead
« en: 7 Febrero 2010, 21:35 pm »

Hola, lo siento parece que cada vez que surge un problema, simplemente lo postee, pero no es asi xdxd he buscado y haber no tengo ni idea para empezar pq salta, ha veces sale y haveces no...

Mas que nada pregunto 2 cosas, que es exactamente y pq no me funciona cuando  lo capturo:

Código
  1. # -*- coding: utf-8 -*-
  2. from urllib2 import URLError, HTTPError
  3. from httplib import  BadStatusLine, IncompleteRead
  4. import re, urllib2, urllib
  5.  
  6. lista = []
  7. links_httperror = []
  8. links_urlerror = []
  9. links_badstatusline = []
  10. links_IncompleteRead = []
  11.  
  12.  
  13. def web(Ruta, ff, x):
  14.    lista.append(Ruta)
  15.  
  16.    try:
  17.        HTLM = urllib2.urlopen(Ruta)
  18.    except URLError:
  19.        #print '----------------URLError:  ', Ruta
  20.        links_urlerror.append(Ruta)
  21.    except HTTPError:
  22.        #print '----------------HTTPError:  ', Ruta
  23.        links_httperror.append(Ruta)
  24.    except BadStatusLine:
  25.        #print '----------------BadStatusLine: ', Ruta
  26.        links_badstatusline.append(Ruta)
  27.    except IncompleteRead, e:
  28.        links_IncompleteRead.append(Ruta)
  29.    else:


En línea

^Tifa^


Desconectado Desconectado

Mensajes: 2.804


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #1 en: 8 Febrero 2010, 17:33 pm »

Hola nuevamente  :D

Desconozco de antemano que estas haciendo, pero que guarda la variable 'Ruta' ????  :huh:  es un Request a una pagina URL???? porque si esto es asi, todo esto:

lista.append(Ruta)
links_urlerror.append(Ruta)
etc...

Estaria mal, ya que si Ruta significa esto:

Ruta = urllib2.Request(pagina)

Estas apuntado a una instancia en una direccion en memoria virtual y no a un valor como tal. Me explico, suponte que pagina es una variable o una url escrita a mano por ti da igual:

pagina = "www.algo.com"
Ruta = urllib2.Request(pagina)

o

Ruta = urllib2.Request('www.url.com')

Recuerda que urllib2 es un modulo y Request un metodo que accepta 1 parametro, en este caso la variable pagina o la direccion url escrita por ti a mano.  Que ocurre que como el parametro es desconocido internamente por el metodo Request, este apuntara a la direccion en memoria donde se encuentre ese valor (la variable pagina o la url escrita por ti a mano), Puedes darte cuenta si haces un :

print urllib2.Request('www.url.com')

Lo cual te retornaria:

<urllib2.Request instance at 0xb7c1974c>

digase que en 0xb7..etc es la direccion en memoria donde esta ubicado el valor de la variable 'pagina' o la url escrita por ti. Por ende como dicho valor hay que buscarlo en memoria ya que literalmente no esta como una constante definida dentro del metodo Request, es normal que esto:

links_urlerror.append(Ruta)

Y similares, te retornasen un mensajito no muy entendible o deseado:

Error ::   [<urllib2.Request instance at 0xb7b9a6cc>]

PD: Que conste que me puedo equivocar en la afirmacion anterior, no es que sea yo muy buena con las definiciones de las cosas. Si dije una tonteria es admisible que cualquiera que entienda de POO me refute  ;)

Ahora, basandonos en lo anterior (Que no se si es correcto que conste). He hecho lo siguiente que a lo mejor te podria servir:

Código
  1.  
  2. from urllib2 import Request, urlopen, URLError, HTTPError
  3. import urllib2
  4.  
  5. lista = []
  6. links_httperror = []
  7. links_urlerror = []
  8. links_badstatusline = []
  9. links_IncompleteRead = []
  10.  
  11. pagina = "http://www.googlexx.com"
  12.  
  13. def web():
  14.  Ruta = urllib2.Request(pagina)
  15.  lista.append(pagina)
  16.  
  17.  try:
  18.      urllib2.urlopen(Ruta)
  19.  except HTTPError, e:
  20.      links_urlerror.append(e.reason)
  21.      print "ocurrio un error :: "
  22.      print "Error ::  " + str(links_urlerror)
  23.  except URLError, e:
  24.      links_urlerror.append(e.reason)
  25.      print "La UrL " + pagina + " No existe"
  26.      print "Error ::   " + str(links_urlerror)
  27.  
  28. web()
  29.  
  30.  


En línea

O-LLOS-O


Desconectado Desconectado

Mensajes: 324


tengo 14 invitaciones para locker-z enviar mp


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #2 en: 8 Febrero 2010, 23:59 pm »

muchas gracias por responder!!!
jejeje basicamente lo que estoy intentando hacer es un bot que vaya visitando paginas y que en cada pagina me busque a que paginas tiene hipervinculos y que me lo escriva en un txt de esta forma:

http://www.vadewebs.eu/~foment010/alex/:
   :
   :··http://www.ogame.com.es:
   :   :
   :   :··http://www.gameforge.de:
   :
   :··http://www.google.es:
   :
   :··http://www.marca.com:
   :   :
   :   :··http://www.marca.com:
   :   :   :
   :   :   :··http://www.marcaplayer.com:
   :   :   :
   :   :   :··http://www.marca.tv:
   :   :   :
   :   :   :··http://www.radiomarca.com:
   :   :   :   :
   :   :   :   :··http://www.marca.tv:
   :   :   :   :
   :   :   :   :··http://www.veo.es:
   :   :   :   :
   :   :   :   :··http://www.marcamedia.com:

lo hago con una funcion recursiva, y un parametro que indica hasta que nivel quiero llegar, en el ejemplo ese nivel seria 4, aunque esta incompleto ya que es un extracto de un nivel 20, lo que pasa que lo deje parte de ayer por la tarde y toda la noche y por la mañana me encontre que me salto ese error, yo lo que hago es lo siguiente:


La variable Ruta contiene un string con la direccion de la paginam web que voy a abrir, en el ejemplo anterior el primer string que tendria seria:

http://www.vadewebs.eu/~foment010/alex/

pero a mi lo que me interesa es el code fuente de la pagina por lo tanto lo que hago simplemente es poner el code de la siguiente forma:

Código
  1. HTLM = urllib2.urlopen(Ruta)

Como ya habras visto, y  con eso ya tengo el code fuente de la pagina en la variable HTML, no utilizo el request, aunque creo que la ara implicitamente

pero el problema con el que me encuentro es que me ha petado el programa en el IncompleteRead, y mira que le he puesto la excepcion, pero no se..., exactamente esta excepcion no se pq salta pero bueno.

Saludos!!!  :rolleyes:

En línea

^Tifa^


Desconectado Desconectado

Mensajes: 2.804


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #3 en: 9 Febrero 2010, 13:35 pm »

Mas o menos voy entendiendo.  :P

Sino te molesta claro, me gustaria poder ayudarte mas si me es posible. Solo me estoy basando en el trozo de codigo que colocaste mas no se en su totalidad que estas haciendo. Sino te molestaria colocar el codigo completo aca o si te molesta puedes subirlo a pastebin y enviarme la URL por IM. Y asi intentar llegar a una solucion si aun no la encuentras claro.

En línea

Novlucker
Ninja y
Colaborador
***
Desconectado Desconectado

Mensajes: 10.683

Yo que tu lo pienso dos veces


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #4 en: 9 Febrero 2010, 13:43 pm »

Ejem :silbar:

:http://docs.python.org/library/urllib2.html
Citar
[...]urllib2.urlopen(url[, data][, timeout])
[...]
This function returns a file-like object with two additional methods[...]

Debes de leerlo:
Código
  1. HTLM = urllib2.urlopen(Ruta)
  2. HTMLText = HTML.read()

Por cierto, tu script tiene que ver algo con esto? ;D
http://foro.elhacker.net/ejercicios/juego_ejercicios_python-t278592.0.html;msg1387321#msg1387321

Saludos
En línea

Contribuye con la limpieza del foro, reporta los "casos perdidos" a un MOD XD
"Hay dos cosas infinitas: el Universo y la estupidez  humana. Y de la primera no estoy muy seguro."
Albert Einstein
O-LLOS-O


Desconectado Desconectado

Mensajes: 324


tengo 14 invitaciones para locker-z enviar mp


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #5 en: 9 Febrero 2010, 14:48 pm »

realmente no xdxd quiero hacer una emulacion del algoritmo que utiliza google para enseñar paginas web xdxd pero es evidente que a una escala muchisimo menor ya que no tengo tanto potencial, y simplemente que querido empezar por hacer un programa que me vaya buscando paginas de momento es muyyyyy simple no tiene casi nada.

Hver no se hecho nada pero el programa lleva corriendo 24 horas, josto lo puse ayer a las 3, y aun no ha petado.... le pues un maximo de 20 niveles..., justo el extracto que hay en la otra respuesta pero ese extracto es de una ejecucion que duro solo una 9 horas.... asi que no se... de momento seguire investigando y cuando lo mejore un poco te lo paso Tifa, o quien quiera... pero quiza tambien lo utilizo de erramienta para una pagina web que quiero hacer... asi que no se...

Saludos y gracias seguire investigando sobre este error de incompleatread, ya que aun no se pq salta ni como evitarlo

Mercy de nuevo
« Última modificación: 9 Febrero 2010, 14:56 pm por O-LLOS-O » En línea

Novlucker
Ninja y
Colaborador
***
Desconectado Desconectado

Mensajes: 10.683

Yo que tu lo pienso dos veces


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #6 en: 9 Febrero 2010, 14:52 pm »

jaja, creeme que como he dicho en ese mismo ejercicio, el algoritmo de un bot de ese tipo no es muy complicado que digamos, y más en python que nos facilita muchas cosas :P

Ahora, te ha servido lo que te he dicho?

Puede que además del read debas de convertirlo en string con str

Saludos
En línea

Contribuye con la limpieza del foro, reporta los "casos perdidos" a un MOD XD
"Hay dos cosas infinitas: el Universo y la estupidez  humana. Y de la primera no estoy muy seguro."
Albert Einstein
O-LLOS-O


Desconectado Desconectado

Mensajes: 324


tengo 14 invitaciones para locker-z enviar mp


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #7 en: 9 Febrero 2010, 15:02 pm »

bah... posteare el codigo que llevo xdxd (Novlucker mientras me contestavas he modificado mi respuesta):

Esto es lo que  llevo que vuelvo a repetir que es ua prueva, para hacer una aplicacion mas correcta y completa...xdxd, ya que esto simplemente me muestra una lista de paginas web empezando por la que querais

Código
  1. # -*- coding: utf-8 -*-
  2. from urllib2 import URLError, HTTPError
  3. from httplib import  BadStatusLine, IncompleteRead
  4. import re, urllib2, urllib
  5.  
  6. listagen = []
  7. lista = []
  8. lista2 = []
  9. links_httperror = []
  10. links_urlerror = []
  11. links_badstatusline = []
  12. links_IncompleteRead = []
  13.  
  14. def web(Ruta, ff, x):
  15.    listagen.append(Ruta)
  16.    try:
  17.        HTLM = urllib2.urlopen(Ruta)
  18.    except URLError:
  19.        links_urlerror.append(Ruta)
  20.    except HTTPError:
  21.        links_httperror.append(Ruta)
  22.    except BadStatusLine:
  23.        links_badstatusline.append(Ruta)
  24.    except IncompleteRead:
  25.        links_IncompleteRead.append(Ruta)
  26.    else:
  27.        htlm = ""
  28.        for ele in HTLM:
  29.            htlm += ele
  30.        f = re.findall("<a href=\"(http://www[a-zA-Z0-9_ \.:]+[\.com|\.es|\.cat|\.edu|\.tv|\.de])\"",htlm)
  31.        cad2 = "   :"
  32.        cad5 = "\n"
  33.        if x == 0:
  34.            ff.write(Ruta+": \n")
  35.        else:
  36.            ff.write(cad2*x+cad5+cad2*x+"··"+Ruta+": \n")
  37.        x += 1
  38.        if (x <= los niveles que querais no os recomiendo poner un numero muy grande):
  39.            for ele in f:
  40.                if not ele in listagen:
  41.                    lista.append(Ruta)
  42.                    lista2.append(Ruta)
  43.                    web(ele, ff, x)
  44.                else:
  45.                    lista2.append(Ruta)
  46.  
  47.  
  48.  
  49.  
  50. ff = open("http2.txt", "w")
  51. web("http://www.la pagina que querais", ff, 0)
  52. ff.close()
  53. print 'Pagines webs diferents trovades: \t', len(lista)
  54. print 'Pagines webs visitades (repetides):\t', len(lista2)
  55. print 'Pagines amb errors: '
  56. print 'HTTPError:\t\t\t\t', len(links_httperror)
  57. print 'URLError:\t\t\t\t', len(links_urlerror)
  58. print 'IncompletRead:\t\t\t\t', len(links_IncompleteRead)
  59. print 'BadStatusLine:\t\t\t\t', len(links_badstatusline)


jaja, creeme que como he dicho en ese mismo ejercicio, el algoritmo de un bot de ese tipo no es muy complicado que digamos, y más en python que nos facilita muchas cosas :P

Ahora, te ha servido lo que te he dicho?

Puede que además del read debas de convertirlo en string con str

Saludos


no te lo creeras pero cuando me puse ha hacer esto no tenia ni idea de tu mensage xdxd, esque justo acaba un minicurso de pyhton i me pico hacer cosas de estas, aunque me gustaria tambien saber rellenar formularios para hacer bots que jueguen a juegos, me da igual que me hechen de los juegos es simplemente por hacer una especie de inteligencia... xdxd si supieras de informacion buena me encantaria
« Última modificación: 9 Febrero 2010, 15:04 pm por O-LLOS-O » En línea

Novlucker
Ninja y
Colaborador
***
Desconectado Desconectado

Mensajes: 10.683

Yo que tu lo pienso dos veces


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #8 en: 9 Febrero 2010, 15:38 pm »

A mejorar:
lista y lista2 no cumplen ninguna función que amerite tener una lista en memoria (con el consumo que eso significa). Para lo único que las utilizas es para mostrar un número, entonces por que directamente no utilizar un número (int)?

Me gustas las expresiones regulares, pero si realmente estas buscando links (en cualquier formato) lo suyo sería utilizar la clase HTML.Parser

Sobre lo de los niveles, te has puesto a pensar cuanto son 20 niveles? 20 niveles, suponiendo que en cada nivel hay solo 20 links, 20^19 = 5242.880.000.000.000.000.000.000 links :o , y dado que tienes que hacer un GET a cada página, demorarías menos con esos programas para romper contraseñas a archivos comprimidos :xD
Yo haría que a la hora de navegar hacía otra web, se verifique el dominio para ver si sigue estando dentro del mismo. Es decir, recolectarías todos los links, pero solo navegarías a aquellos pertenecientes a 'este' dominio

[Edito]
Ahora que lo pienso, el número es más grande, porque eso sería lo que hay en el último nivel, pero debes de sumarle los anteriores XD ... ∑ 20^x con x entre 1 y n-1 = 5,51882105263158E+24 (esperemos que me equivoque)

Saludos
« Última modificación: 9 Febrero 2010, 16:08 pm por Novlucker » En línea

Contribuye con la limpieza del foro, reporta los "casos perdidos" a un MOD XD
"Hay dos cosas infinitas: el Universo y la estupidez  humana. Y de la primera no estoy muy seguro."
Albert Einstein
O-LLOS-O


Desconectado Desconectado

Mensajes: 324


tengo 14 invitaciones para locker-z enviar mp


Ver Perfil
Re: [PYTHON-DUDA] IncompleteRead
« Respuesta #9 en: 9 Febrero 2010, 23:10 pm »

hay muchisimas cosas ha mejorar, asi a primera vista quiero que me haga un informa queda x tiempo y cada vez que llegue a x numero de enlazes te los deje en un txt con una unformacion adicional determinada.

Muchas gracias por prestarle antecion xdxd mañan le iva a dedicar toda la mañana a mejorar-lo en esos aspectos, pero antes me gustaria preguntar unas cuantas cosas, con ese mismo codigo:

- el incompleteRead me saltava.... no deberia no?,
- Al hacerlo recursivo, no se estan creando copias en memoria de todo este codigo? seria mejor liverar lo maximo la funcion recursiva para que ese proceso no ocupe tanto?
- Crees que seria buena idea añadirle threading para que vaya mas rapido?

En cuanto a lista y lista2 tienes toda la razon... realmente al inicio del todo solo utilizava una lista pero empeze a añadir...

Saludos y mercy de antemano
En línea

Páginas: [1] 2 Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
Duda con for in aumento [python]
Scripting
Ricardo95 1 2,740 Último mensaje 2 Diciembre 2010, 18:12 pm
por xassiz~
Generacion de cc en Python[Duda]
Scripting
Ricardo95 3 1,930 Último mensaje 27 Enero 2011, 12:43 pm
por Ricardo95
Duda Python
Scripting
Blitzkrieg' 1 1,329 Último mensaje 14 Noviembre 2011, 22:25 pm
por Unbr0ken
Duda python
Scripting
dubh 0 1,022 Último mensaje 2 Diciembre 2011, 00:39 am
por dubh
WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines