Autor
|
Tema: Que tipo de lista dinamica me conviene utilizar? (Leído 9,875 veces)
|
seba123neo
|
Sebas, te respondo: Descargo el codigo fuente de cada web para analizarle sus links, y así sucesivamente.
¿ para que si se puede obtener los links sin descargar nada al disco ? otra cosa , yo no me preocuparia por los items duplicados, otra forma que podes usar es cada cierto tiempo (por ejemplo cada vez que ingresaron 1000 links) ejecutar una consulta que elimine los duplicados de la base de datos, y asi te ahorras de estar consultadno cada uno si existe, eso seria mucho mas rapido.
|
|
« Última modificación: 13 Febrero 2010, 04:50 am por seba123neo »
|
En línea
|
|
|
|
Skeletron
Desconectado
Mensajes: 1.731
A long way to go
|
Sebas, te respondo: Descargo el codigo fuente de cada web para analizarle sus links, y así sucesivamente.
¿ para que si se puede obtener los links sin descargar nada al disco ? otra cosa , yo no me preocuparia por los items duplicados, otra forma que podes usar es cada cierto tiempo (por ejemplo cada vez que ingresaron 1000 links) ejecutar una consulta que elimine los duplicados de la base de datos, y asi te ahorras de estar consultadno cada uno si existe, eso seria mucho mas rapido. Y quien dijo que descargo a la pc en modo de archivo? Puedo descargalos a la RAM... Pero igualmente, esto no tiene nada que ver con el tema Lo que dices de preocuparse por el tiempo de ver si esta o no el link, eso lo soluciono con una lista que no acepte cadenas duplicadas.. y Tio, justamente por ese tema abrí este post...
|
|
« Última modificación: 13 Febrero 2010, 04:54 am por Skeletron »
|
En línea
|
|
|
|
seba123neo
|
me imagine que era a la memoria sino seria lentisimo, y creo que si tiene que ver con el tema, estan hablando de los duplicados y yo dije que con una consulta eliminas los duplicados de una.
|
|
|
En línea
|
|
|
|
Skeletron
Desconectado
Mensajes: 1.731
A long way to go
|
me imagine que era a la memoria sino seria lentisimo, y creo que si tiene que ver con el tema, estan hablando de los duplicados y yo dije que con una consulta eliminas los duplicados de una.
De que consulta hablas?
|
|
|
En línea
|
|
|
|
seba123neo
|
haces un DELETE FROM Tabla WHERE link = ( esto buscalo vos ) ....y te elimina los duplicados de la base de datos.... y obvio el error que te tira antes, no podes ingresar en una coleccion algo con la misma clave.
|
|
|
En línea
|
|
|
|
Skeletron
Desconectado
Mensajes: 1.731
A long way to go
|
Tio.. Una consulta SQL de ese tipo, en una base de datos de mas de 1 billon de entradas, es UNA LOCURA DE LENTO (comparado con ese tratamiento a nivel de memoria!!!!)
Tu mismo dijiste que sería lento descargar a un archivo el codigo fuente y luego examinarlo.. bueno, ahora eres tu el que esta proponiendo lo mismo..
Imagina realizar esa consulta por cada link nuevo que se encuentra...
Podrian ser unos 50.000 consultas de DELETE por cada 50 codigos fuentes que se procesar.. y considerando que los codigos fuentes a analizar son INFINITOS, entonces, considera que tendria que hacer INFINITO * 50.000 consultas SQL de DELETE
Es mas facil implementar un index del tipo UNIQUE, y para filtrar el 50% de las consultas a la base de datos: se hace el sistema de "cacheo" (imprementando una lsita donde no haya items repetidos) y luego insertar uno por uno a cada link, donde la clave UNIQUE se encargará de eliminar repetidos restantes
|
|
« Última modificación: 13 Febrero 2010, 05:05 am por Skeletron »
|
En línea
|
|
|
|
Ari Slash
|
amigos para eso esta el chat xD
|
|
|
En línea
|
|
|
|
seba123neo
|
¿ quien dijo hacerlo cada link que descargas ?, eso seria una locura obviamente, lee el post de antes, igualmente si ya estas seguro de como hacerlo, entonces hacelo . y si llegas a tener 1 billon de registros (o sea un millon de veces un millon), mejor no uses MySQL por lo que he leido es lento con muchos registros.
|
|
|
En línea
|
|
|
|
Skeletron
Desconectado
Mensajes: 1.731
A long way to go
|
Ya los he tenido.. haciendo los testeos.. Es muy facil de llegar a esa cantidad.. es muy rapido.. en 3 o 4 dias los tenes.. te juro. Google utiliza MySQL si mal no he leido en Wikipedia Ya tengo desde hace muchos dias al indexador.. Mi problema simplemente era la lista que permita solo 1 item igual. Una lastima que VB.NET no tenga ya implementado algo así.. Sencillo. (Como es JAVA es la lista: treeset)
|
|
|
En línea
|
|
|
|
|
Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
lista con matriz dinamica
Programación C/C++
|
L·Storm!
|
2
|
4,077
|
3 Agosto 2011, 03:03 am
por L·Storm!
|
|
|
Ayuda Con Lista Dinámica en PHP Según Consulta SQL
PHP
|
ZedGe
|
1
|
2,193
|
19 Julio 2012, 15:47 pm
por Shell Root
|
|
|
¿Qué base de datos me conviene utilizar?
Java
|
Flamethrower
|
4
|
3,109
|
1 Octubre 2013, 10:04 am
por Flamethrower
|
|
|
Razones por las que conviene dejar de utilizar Windows XP
Windows
|
wolfbcn
|
2
|
2,293
|
20 Octubre 2013, 13:12 pm
por ccrunch
|
|
|
¿Que es más eficiente, utilizar array o memoria dinámica? [C]
« 1 2 »
Programación C/C++
|
NOB2014
|
13
|
5,751
|
5 Mayo 2016, 17:37 pm
por Eternal Idol
|
|