Utiliza un verdadero RDBMS ... MSSQL, MySQL, PostgreSQL o similar, de donde ha salido esa idea de crear los directorios y demás?

Saludos

Bueno, rembolso, yo tengo un sistema de bases de datos que se me ocurrio para tema de tiendas (ojo, por tema de aficion, no por otra cosa), y lo que hice fue cargar todos los datos en matrices, en el sentido de, por ejemplo, los datos esenciales como ahora precio, categoria, subcategoria y nombre en una matriz, cantidad de productos en otra, y luego, para lo que son parametros de busqueda, crear una matriz que contenga todos los parametros de busqueda generales (tipo, por ejemplo simple, color, coste de mana, etc) en otra 3a matriz, y luego, utilizando estos nombres, accedo a un archivo en la carpeta X para luego cargar los "terminos de busqueda" de ese parametro para luego, en una ultima matriz de 2 niveles (donde el primer nivel hace referencia al numero de producto, y tiene que tener un valor igual al limite de productos, y el segundo, como el primero, pero para los terminos de busqueda), donde le asigno un valor (el cual es, por ejemplo, si hay 3 colores -rojo, azul y verde- para un parametro de busqueda, y el producto es verde, le pongo el valor correspondiente) al producto correspondiente, y asi con cada producto; no se si me explico.
De todas formas, esto lo he utilizado para clasificar mas de 2000 cartas de magic, yougioh, y world of warcraft, y a lo mejor, insertando un termino de busqueda, me tarda alrededor de poco mas de una docena de milisegundos en mostrarme (o mejor dicho, ordenar aleatoriamente) todas las cartas en un core 2 duo a 2.4 Ghz.
Por otra parte, si lo que te comento no te convence, te recomiendo la segunda opcion; no se a ti, pero para mi seria mas simple, aunque ocupe mas disco y para acceder a los datos de los usuarios requiera mas accesos al disco (o eso creo), aunque, personalmente, lo haria con matrices.
Por ultimo, viendo que hablas de millones de usuarios, lo normal seria que, para buscar un usuario, te tarde un buen rato insertando datos de busquedas; yo, por ejemplo, para ver todas las cartas que tengo de un JCC tipo magic o yugioh, me tarda alrededor de los 11 milisegundos, quizas unos pocos mas, y tengo unas 2000 y pico, por lo que supogo que te tardara sobre los 11 segundos minimo con mi modo, aunque creo que me equivoco si usas otro metodo.
Espero ser de ayuda.
Saludos.