Hola nuevamente 

Desconozco de antemano que estas haciendo, pero que guarda la variable 'Ruta' ????    es un Request a una pagina URL???? porque si esto es asi, todo esto:

lista.append(Ruta)
links_urlerror.append(Ruta)
etc...

Estaria mal, ya que si Ruta significa esto:

Ruta = urllib2.Request(pagina)

Estas apuntado a una instancia en una direccion en memoria virtual y no a un valor como tal. Me explico, suponte que pagina es una variable o una url escrita a mano por ti da igual:

pagina = "www.algo.com"
Ruta = urllib2.Request(pagina)

o

Ruta = urllib2.Request('www.url.com')

Recuerda que urllib2 es un modulo y Request un metodo que accepta 1 parametro, en este caso la variable pagina o la direccion url escrita por ti a mano.  Que ocurre que como el parametro es desconocido internamente por el metodo Request, este apuntara a la direccion en memoria donde se encuentre ese valor (la variable pagina o la url escrita por ti a mano), Puedes darte cuenta si haces un :

print urllib2.Request('www.url.com')

Lo cual te retornaria:

<urllib2.Request instance at 0xb7c1974c>

digase que en 0xb7..etc es la direccion en memoria donde esta ubicado el valor de la variable 'pagina' o la url escrita por ti. Por ende como dicho valor hay que buscarlo en memoria ya que literalmente no esta como una constante definida dentro del metodo Request, es normal que esto:

links_urlerror.append(Ruta)

Y similares, te retornasen un mensajito no muy entendible o deseado:

Error ::   [<urllib2.Request instance at 0xb7b9a6cc>]

PD: Que conste que me puedo equivocar en la afirmacion anterior, no es que sea yo muy buena con las definiciones de las cosas. Si dije una tonteria es admisible que cualquiera que entienda de POO me refute 

Ahora, basandonos en lo anterior (Que no se si es correcto que conste). He hecho lo siguiente que a lo mejor te podria servir:

 
from urllib2 import Request, urlopen, URLError, HTTPError
import urllib2
 
lista = []
links_httperror = []
links_urlerror = []
links_badstatusline = []
links_IncompleteRead = []
 
pagina = "http://www.googlexx.com"
 
def web():
  Ruta = urllib2.Request(pagina)
  lista.append(pagina)
 
  try:
      urllib2.urlopen(Ruta)
  except HTTPError, e:
      links_urlerror.append(e.reason)
      print "ocurrio un error :: "
      print "Error ::  " + str(links_urlerror)
  except URLError, e:
      links_urlerror.append(e.reason)
      print "La UrL " + pagina + " No existe"
      print "Error ::   " + str(links_urlerror)
 
web()
 
 

Mas o menos voy entendiendo. 

Sino te molesta claro, me gustaria poder ayudarte mas si me es posible. Solo me estoy basando en el trozo de codigo que colocaste mas no se en su totalidad que estas haciendo. Sino te molestaria colocar el codigo completo aca o si te molesta puedes subirlo a pastebin y enviarme la URL por IM. Y asi intentar llegar a una solucion si aun no la encuentras claro.

realmente no xdxd quiero hacer una emulacion del algoritmo que utiliza google para enseñar paginas web xdxd pero es evidente que a una escala muchisimo menor ya que no tengo tanto potencial, y simplemente que querido empezar por hacer un programa que me vaya buscando paginas de momento es muyyyyy simple no tiene casi nada.

Hver no se hecho nada pero el programa lleva corriendo 24 horas, josto lo puse ayer a las 3, y aun no ha petado.... le pues un maximo de 20 niveles..., justo el extracto que hay en la otra respuesta pero ese extracto es de una ejecucion que duro solo una 9 horas.... asi que no se... de momento seguire investigando y cuando lo mejore un poco te lo paso Tifa, o quien quiera... pero quiza tambien lo utilizo de erramienta para una pagina web que quiero hacer... asi que no se...

Saludos y gracias seguire investigando sobre este error de incompleatread, ya que aun no se pq salta ni como evitarlo

Mercy de nuevo

bah... posteare el codigo que llevo xdxd (Novlucker mientras me contestavas he modificado mi respuesta):

Esto es lo que  llevo que vuelvo a repetir que es ua prueva, para hacer una aplicacion mas correcta y completa...xdxd, ya que esto simplemente me muestra una lista de paginas web empezando por la que querais

# -*- coding: utf-8 -*-
from urllib2 import URLError, HTTPError
from httplib import  BadStatusLine, IncompleteRead
import re, urllib2, urllib
 
listagen = [] 
lista = []
lista2 = []
links_httperror = []
links_urlerror = []
links_badstatusline = []
links_IncompleteRead = []
 
def web(Ruta, ff, x):
    listagen.append(Ruta)
    try:
        HTLM = urllib2.urlopen(Ruta)
    except URLError:
        links_urlerror.append(Ruta)
    except HTTPError:
        links_httperror.append(Ruta)
    except BadStatusLine:
        links_badstatusline.append(Ruta)
    except IncompleteRead:
        links_IncompleteRead.append(Ruta)
    else:
        htlm = ""
        for ele in HTLM:
            htlm += ele
        f = re.findall("<a href=\"(http://www[a-zA-Z0-9_ \.:]+[\.com|\.es|\.cat|\.edu|\.tv|\.de])\"",htlm)
        cad2 = "   :"
        cad5 = "\n"
        if x == 0:
            ff.write(Ruta+": \n")
        else:
            ff.write(cad2*x+cad5+cad2*x+"··"+Ruta+": \n")
        x += 1
        if (x <= los niveles que querais no os recomiendo poner un numero muy grande):
            for ele in f:
                if not ele in listagen:
                    lista.append(Ruta)
                    lista2.append(Ruta)
                    web(ele, ff, x)
                else:
                    lista2.append(Ruta)
 
 
 
 
ff = open("http2.txt", "w")
web("http://www.la pagina que querais", ff, 0)
ff.close()
print 'Pagines webs diferents trovades: \t', len(lista)
print 'Pagines webs visitades (repetides):\t', len(lista2)
print 'Pagines amb errors: '
print 'HTTPError:\t\t\t\t', len(links_httperror)
print 'URLError:\t\t\t\t', len(links_urlerror)
print 'IncompletRead:\t\t\t\t', len(links_IncompleteRead)
print 'BadStatusLine:\t\t\t\t', len(links_badstatusline)

no te lo creeras pero cuando me puse ha hacer esto no tenia ni idea de tu mensage xdxd, esque justo acaba un minicurso de pyhton i me pico hacer cosas de estas, aunque me gustaria tambien saber rellenar formularios para hacer bots que jueguen a juegos, me da igual que me hechen de los juegos es simplemente por hacer una especie de inteligencia... xdxd si supieras de informacion buena me encantaria

hay muchisimas cosas ha mejorar, asi a primera vista quiero que me haga un informa queda x tiempo y cada vez que llegue a x numero de enlazes te los deje en un txt con una unformacion adicional determinada.

Muchas gracias por prestarle antecion xdxd mañan le iva a dedicar toda la mañana a mejorar-lo en esos aspectos, pero antes me gustaria preguntar unas cuantas cosas, con ese mismo codigo:

- el incompleteRead me saltava.... no deberia no?,
- Al hacerlo recursivo, no se estan creando copias en memoria de todo este codigo? seria mejor liverar lo maximo la funcion recursiva para que ese proceso no ocupe tanto?
- Crees que seria buena idea añadirle threading para que vaya mas rapido?

En cuanto a lista y lista2 tienes toda la razon... realmente al inicio del todo solo utilizava una lista pero empeze a añadir...

Saludos y mercy de antemano