Deberías guardar datos en formato binario, no en formato texto.

Un fichero pequeñito, no tiene importancia guardarlo en texto, pero si el fichero es grande, guardarlo en formato textual conllevará bastante más tiempo tanto leerlo como escribirlo en formato texto, especialmente si hay un formato que deba ser tratado. Si lo guardas en formato binario, la cosa cambia... además no se precisa ningún separador, la separación de cada dato se basa en la cantidad de bytes del tipo de datos usado (se supone que todos esos 2 millones tienene el mismo tipo, si no es así procede usar una estructura, donde se declare cada tipo usado).

También procede dejar esa cabecera en otro fichero aparte, así tienes más libertad para leer y escribir el fichero sin 'molestias'. Otra solución es escribir dicha cabecera al final del fichero, pero sabiendo en todo momento cuantos bytes forman dicha cabecera (si fuera variable). Pero vamos si va a otro fichero aparte, simplificas el tratamiento de cada fichero aunque tengas que tratar con dos.

     Me interesa esa opcion de trabajar con archivos bianrios, pero por desgracia ese formato no se me puede entregar de otra manera, conoce alguna manera de convertirno en formato binario y trabajarlo de la manera que me dices en ese otro archivo convertido??

     Muchas gracias por la respuesta, como dije soy nuevo en este lenguaje y estoy aprendiendo a los golpes, como dicen por ahi me clavo un puñal en la mano jajajaja.

     Hasta ahora encontre una manera de hacerlo con la funcion getline, pero como dices es engorroso hacerlo y me da la impresion de que no es muy eficiente... Al trabajar con millones de datos la eficiencia es algo que debo cuidar desde el incio. Por lo que si conoces una manera de convertir ese archivo a formato binario para posteriormente obtener las columnas y encerrarlas en un vector o un array entonces estaria mas que agradecido.

---

Holaa, gracias por tu respuesta, aunque ya resolvi como hacerlo con la funcion getline que lee linea por line el documento y solo coloque un contador junto con un if que me ejecutara el codigo cuando el contador informase que estaba en la linea que necesitaba, pero me da curiosidad porque no se como trabajar con el scanf. Cual es la eficiencia del scanf?? Se puede utilizar para hacer lo que te comento de agarrar cada columna y encerrarla en una variable??

El formato como tal es asi:

1.21548 4.12354 3.14485 0.0054
-1.21548 4.12354 -3.14485 0.0054
-1.21548 4.12354 3.14485 0.0054
1.21548 4.12354 3.14485 0.0054
0 0 0 0.0235
0 0 0 0.2015
0 0 0 0.5043
 

El formato de vez en cuando varia, lo normal es que sean 4 columnas tipo flotantes, pudiendo ser negativas o positivas. con 1 numero y 5 decimales las primeras 3 columnas y la 4ta columna de un cero y 4 decimales.

De vez en cuando puede ocurrir que den las primeras 3 columnas 0 o alguna que otra columna de 0.

¿Realmente has probado el programa a ver si funciona lento? Porque si eres nuevo en el lenguaje, optimizar va a complicar las cosas.

Porque hay unas cuantas maneras de acelerarlo. Primero, no leer el archivo línea a línea ni número por número sino en bloques grandes, y luego procesar los bytes desde RAM. Los procesadores modernos tienen instrucciones muy eficientes para ello, a las que se puede acceder mediante funciones especiales (intrinsics), y aunque no son estándar de C++, todos los compiladores modernos las proporcionan. Esto podría hacer el proceso unas 5-10 veces más rápido que usando fscanf o streams. El problema es que es demasiado complicado para alguien que empieza.

Hay algunas cosas más sencillas que podrías probar, siempre que de verdad lo necesites. En Google o en cualquier manual de C puedes encontrar explicaciones de las funciones que voy a mencionar.

Preguntabas sobre la eficiencia de fscanf, y la verdad es que depende. Varia según el tipo de datos a leer y el compilador. Para números de punto flotante, fscanf suele ser bastante más rápido que usar streams (inputFile >> flotante), así que si quieres leer directamente del archivo esa podría ser una opción a probar.

Otra cosa que se suele hacer es, como te dije al principio, leer bloques de bytes grandes de una vez (incluso el archivo completo, dependiendo de su tamaño). En este caso ya no usarías ni fscanf ni el operador >> . Podrías usar sscanf, que funciona como fscanf, pero lee desde un buffer de memoria en lugar de un archivo. El detalle es que, como estamos hablando de bloques grandes de bytes, para que sscanf funcione eficientemente, antes habría que modificar el buffer (en tu caso, básicamente sustituir los '\n' por '\0'). Aún así, seguro que sería más eficiente que las opciones anteriores. Otra forma sería usar strtok, para irte saltando los espacios y comas, y la función stof (o atof, que es más rápida, pero no detecta errores) para convertir el texto en floats. Creo que esto podría ser unas 2 o 3 veces más rápido que las soluciones obvias (fscanf/operador >>). Eso sí, si no lees el archivo completo de golpe, es posible que a veces los bloques leídos terminen a la mitad de una cantidad. No es difícil detectar esto, pero hay que tenerlo en cuenta.

Todo esto es de C, porque C++ ofrece alternativas (std::regex, std:: string y sus funciones como find_first_of, find_first_not_of, etc.) que muchas veces son más completas o seguras, pero precisamente por eso, suelen ser más lentas si lo que quieres hacer es algo simple, como en este caso.

Lo dicho, cualquiera de estas opciones hace el problema más complejo, aunque me parece que estas últimas que te puse son asequibles con leer un poco. Pero como escribí al inicio, primero deberías comprobar que de verdad necesites optimizar.

No había visto tu respuesta. Supongo que ya lo solucionaste (¿?) pero veo que en otro tema decías que estabas teniendo problemas de rendimiento. Si aún no los has solucionado, me parece (al menos con los detalles que proporcionaste allá), que tu problema pide a gritos paralelización, por ejemplo, mediante hilos. No especificaste qué haces con los flotantes que lees, pero si no solamente te limitas a leerlos y pasarlos a la función que grafica, sino que además realizas operaciones sobre ellos, esto podría mejorar el rendimiento de forma importante.