elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: ¿Eres nuevo? ¿Tienes dudas acerca del funcionamiento de la comunidad? Lee las Reglas Generales


+  Foro de elhacker.net
|-+  Programación
| |-+  Programación General
| | |-+  .NET (C#, VB.NET, ASP) (Moderador: kub0x)
| | | |-+  Que tipo de lista dinamica me conviene utilizar?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: 1 [2] Ir Abajo Respuesta Imprimir
Autor Tema: Que tipo de lista dinamica me conviene utilizar?  (Leído 9,777 veces)
seba123neo


Desconectado Desconectado

Mensajes: 3.621



Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #10 en: 13 Febrero 2010, 04:47 am »

Sebas, te respondo:
Descargo el codigo fuente de cada web para analizarle sus links, y así sucesivamente.

¿ para que si se puede obtener los links sin descargar nada al disco ?

otra cosa , yo no me preocuparia por los items duplicados, otra forma que podes usar es cada cierto tiempo (por ejemplo cada vez que ingresaron 1000 links) ejecutar una consulta que elimine los duplicados de la base de datos, y asi te ahorras de estar consultadno cada uno si existe, eso seria mucho mas rapido.


« Última modificación: 13 Febrero 2010, 04:50 am por seba123neo » En línea

Skeletron


Desconectado Desconectado

Mensajes: 1.731


A long way to go


Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #11 en: 13 Febrero 2010, 04:53 am »

Sebas, te respondo:
Descargo el codigo fuente de cada web para analizarle sus links, y así sucesivamente.

¿ para que si se puede obtener los links sin descargar nada al disco ?

otra cosa , yo no me preocuparia por los items duplicados, otra forma que podes usar es cada cierto tiempo (por ejemplo cada vez que ingresaron 1000 links) ejecutar una consulta que elimine los duplicados de la base de datos, y asi te ahorras de estar consultadno cada uno si existe, eso seria mucho mas rapido.
Y quien dijo que descargo a la pc en modo de archivo? Puedo descargalos a la RAM...
Pero igualmente, esto no tiene nada que ver con el tema

Lo que dices de preocuparse por el tiempo de ver si esta o no el link, eso lo soluciono con una lista que no acepte cadenas duplicadas..  y Tio, justamente por ese tema abrí este post...


« Última modificación: 13 Febrero 2010, 04:54 am por Skeletron » En línea

seba123neo


Desconectado Desconectado

Mensajes: 3.621



Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #12 en: 13 Febrero 2010, 04:55 am »

me imagine que era a la memoria sino seria lentisimo, y creo que si tiene que ver con el tema, estan hablando de los duplicados y yo dije que con una consulta eliminas los duplicados de una.
En línea

Skeletron


Desconectado Desconectado

Mensajes: 1.731


A long way to go


Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #13 en: 13 Febrero 2010, 04:56 am »

me imagine que era a la memoria sino seria lentisimo, y creo que si tiene que ver con el tema, estan hablando de los duplicados y yo dije que con una consulta eliminas los duplicados de una.


De que consulta hablas?
En línea

seba123neo


Desconectado Desconectado

Mensajes: 3.621



Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #14 en: 13 Febrero 2010, 04:59 am »

haces un DELETE FROM Tabla WHERE link = ( esto buscalo vos  :P) ....y te elimina los duplicados de la base de datos....

y obvio el error que te tira antes, no podes ingresar en una coleccion algo con la misma clave.
En línea

Skeletron


Desconectado Desconectado

Mensajes: 1.731


A long way to go


Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #15 en: 13 Febrero 2010, 05:01 am »

Tio.. Una consulta SQL de ese tipo, en una base de datos de mas de 1 billon de entradas, es UNA LOCURA DE LENTO (comparado con ese tratamiento a nivel de memoria!!!!)

Tu mismo dijiste que sería lento descargar a un archivo el codigo fuente y luego examinarlo..  bueno, ahora eres tu el que esta proponiendo lo mismo..

Imagina realizar esa consulta por cada link nuevo que se encuentra...

Podrian ser unos 50.000 consultas de DELETE por cada 50 codigos fuentes que se procesar.. y considerando que los codigos fuentes a analizar son INFINITOS, entonces, considera que tendria que hacer INFINITO * 50.000 consultas SQL de DELETE


Es mas facil implementar un index del tipo UNIQUE, y para filtrar el 50% de las consultas a la base de datos: se hace el sistema de "cacheo" (imprementando una lsita donde no haya items repetidos) y luego insertar uno por uno a cada link, donde la clave UNIQUE se encargará de eliminar repetidos restantes
« Última modificación: 13 Febrero 2010, 05:05 am por Skeletron » En línea

Ari Slash


Desconectado Desconectado

Mensajes: 1.783



Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #16 en: 13 Febrero 2010, 05:04 am »

amigos para eso esta el chat xD
En línea

seba123neo


Desconectado Desconectado

Mensajes: 3.621



Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #17 en: 13 Febrero 2010, 05:17 am »

¿ quien dijo hacerlo cada link que descargas  :o ?, eso seria una locura obviamente, lee el post de antes, igualmente si ya estas seguro de como hacerlo, entonces hacelo  :P. y si llegas a tener 1 billon de registros (o sea un millon de veces un millon), mejor no uses MySQL por lo que he leido es lento con muchos registros.
En línea

Skeletron


Desconectado Desconectado

Mensajes: 1.731


A long way to go


Ver Perfil WWW
Re: Que tipo de lista dinamica me conviene utilizar?
« Respuesta #18 en: 13 Febrero 2010, 06:09 am »

Ya los he tenido.. haciendo los testeos.. Es muy facil de llegar a esa cantidad.. es muy rapido.. en 3 o 4 dias los tenes.. te juro.

Google utiliza MySQL si mal no he leido en Wikipedia :)

Ya tengo desde hace muchos dias al indexador..
Mi problema simplemente era la lista que permita solo 1 item igual.
Una lastima que VB.NET no tenga ya implementado algo así.. Sencillo. (Como es JAVA es la lista: treeset)
En línea

Páginas: 1 [2] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
lista con matriz dinamica
Programación C/C++
L·Storm! 2 4,043 Último mensaje 3 Agosto 2011, 03:03 am
por L·Storm!
Ayuda Con Lista Dinámica en PHP Según Consulta SQL
PHP
ZedGe 1 2,159 Último mensaje 19 Julio 2012, 15:47 pm
por Shell Root
¿Qué base de datos me conviene utilizar?
Java
Flamethrower 4 3,082 Último mensaje 1 Octubre 2013, 10:04 am
por Flamethrower
Razones por las que conviene dejar de utilizar Windows XP
Windows
wolfbcn 2 2,256 Último mensaje 20 Octubre 2013, 13:12 pm
por ccrunch
¿Que es más eficiente, utilizar array o memoria dinámica? [C] « 1 2 »
Programación C/C++
NOB2014 13 5,683 Último mensaje 5 Mayo 2016, 17:37 pm
por Eternal Idol
WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines