Ya he solucionado el problema utilizando la libreria <vector>.
     A la hora de guardar los datos, en vez de declarar 4 arrays, declaro 4 vectores de la siguiente manera:

vector<float> coordenadax;
vector<float> coordenaday;
vector<float> coordenadaz;
vector<float> coordenadai;
 

     De esta manera al llenarlos dentro de la funcion, me permitio superar los 2 millones de datos.

     Muy buenas a todos, amigos. Hoy vengo con una nueva duda sobre c++ y es sobre la memoria del HEAP. Como ya sabran, existe la memoria de stack (local) y la memoria del heap (no se como describirla, solo se que se utiliza para no consumir la memoria local). Estoy haciendo una aplicacion en la que declaro 4 arrays de 1 dimension (vectores) y les estoy asignando un espacio en la memoria de 1.500.000 porque cada arreglo debe tener 1 millon y medio de elementos y hasta mas que luego se llenaran dentro de una funcion.

    float coordenadasx[cantidad];
    float coordenadasy[cantidad];
    float coordenadasz[cantidad];
    float coordenadasi[cantidad];
 

     la variable cantidad es una variable que contiene una funcion que lee un archivo y me retorna la cantidad de lineas que posee para luego establecer el tamaño de los arreglos y llenarlos en otra funcion. Cuando hago la depuracion o ejecuto la aplicacion me salta un erro que dice:

The inferior stopped because it received a signal from the operating system.
Signal name:      SIGSEGV
Signal meaning:  Segmentation fault
 

     Yo manipulando la funcion puedo hacer que retorne mas o menos elementos, haciendo pruebas descubri que el maximo de elementos que me ha dejado integrar es de 1.200.000, cuando subo de ahi me suelta el error.

     Alguien sabe como aumentar la memoria del Heap?? O una manera de que este error no me salte, porque estaba leyendo y vi que QT5 tenia una especie de bloqueo cuando veia que a una variable se le asignaba mucha memoria, pero no se si se trate de eso.

     Muy buenos dias amigos. La semana pasada empezo mi primer dia en un nuevo trabajo como desarrollador. A mi con un mes de anticipacion me dijeron que iba a programar con Python, estuve practicando y alcance un buen nivel en el lenguaje. Cuando llego me informan que ahora voy a programar con c++... Me dieron la semana pasada para ponerme al dia con el lenguaje y ya a partir de esta semana quieren ver resultados con el mismo... Yo estoy trabajando en eso pero les comento lo siguiente:

     La razon por la que ellos quieren que programe en C++ es porque necesitan graficar un cilindro con un grafico de dispersion de puntos, usando la libreria Matplotlib tarda al rededor de 8 - 20 minutos generarse la grafica en 3D. Por lo que optaron por cambiar a un lenguaje de bajo nivel donde todo se hace con mayor velocidad.

     Por lo que si consigo una manera de hacer ese grafico en un tiempo mucho menor entonces no tendria necesidad de usar c++ al menos para ese tema. Tienen alguna idea de que libreria o API o la manera que sea, en la que pueda graficar millones de datos en 3D utilizando python sin que tarde tanto tiempo??

     Estoy aprendiendo poco a poco y temo que no pueda cumplir sus espectativas, asi que si pueden ayudarme de alguna manera se los agradeceria enormemente...

     Gracias por tu respuesta, tendre en cuenrta todo lo que me comentas si llega la hora de optimizar.


     Por ahora voy a dejar de lado la optimizacion y me enfocare en que el programa funcione y haga lo que le pido, ya me dieron un regaño por no entregar resultados asi que me preocupare de hacerlo de la manera mas eficiente cuando se me solicite explicitamente. Por el momento me pidieron graficar los datos en un grafico de dispersion de puntos, algo similar al scatter de matplotlib de python. Tienes alguna idea de que librerias puedo usar para hacerlo? Porque de verdad estoy retrasado en el trabajo y llevo todo el dia investigando sobre el tema sin conseguir resultados. Gracias nuevamente por las recomendaciones que me diste, sobre el tema de las librerias graficas, en el foro coloque otro tema por si quieres responder por ahi.

     Muy buenas a todos, amigos.

     Necesito su ayuda con urgencia... Conocen librerias para hacer graficas en 2D y 3D para c++? Puntualmente necesito hacer un grafico de dispersion de puntos basado en 3 variables (radio, tita, altura) Por ahora, solo graficar con X y Y tengo suficiente para esta semana, pero necesito mostrar avances en el tema pero no he conseguido nada hasta ahora... La cosa es que he estado investigando pero no encuentro nada concreto o que expliquen bien su instalacion y manejo, como soy nuevo en c++ no consigo entender al 100% las cosas entonces sufro mucho. Si alguien pudiera guiarme en esta area estaria mas que agradecido.

     Encontre una libreria llamada gnuplot pero no encuentro mucha documentacion con respecto a lo que necesito o no lo estoy entendiendo bien. Por si no saben como es un grafico de dispersion de puntos, es lo mismo a la funcion scatter de python, de la libreria matplotlib.
    

Soy nuevo en esto de c++ y mi martirio ha sido la lectura de ficheros, pero en esa busqueda he encontrado una manera de leer los archivos de texto mucho mas sencilla. Supongamos que tienes un archivo de texto con el siguiente formato.

colum11 colum12
colum21 colum22
colum31 colum32
colum41 colum42

Si ejecutas el siguiente codigo podras acceder a cada columna.

	char x,y;
	string filename("archivo.txt");
	ifstream input_file(filename);	
	while(input_file >> x >> y)
	{
		cout << x << ' ' << y << endl;
	}
 

Con el codigo anterior el item de la columna 1 de la primera fila se guardara en la variable x y la columna dos se guardara en la columna y. El codigo te deberia dar una salida similar a la siguiente.

Con lo que ahora puedes trabajar cada elemento como quieras.

---

Puede ser que el error este en el for, ya que estoy viendo que en la segunda llamada de este

for(int columna = 0; std::getline(datosProceso, proceso, '	'); columna++){
 

Creo estas encerrando en la variable proceso el contenido del getline, intenta crear una variable tipo string a parte y ponla ahi en vez de usar proceso. OJO repito que no conozco mucho de c++ Solo estoy dando una idea segun los problemas que me han dado a mi codigos anteriores. Segundo punto, seguro de que la funcion getline debe usarse en ese caso?? Me refiero a cuando la usas por segunda vez con la variable proceso.

El formato como tal es asi:

1.21548 4.12354 3.14485 0.0054
-1.21548 4.12354 -3.14485 0.0054
-1.21548 4.12354 3.14485 0.0054
1.21548 4.12354 3.14485 0.0054
0 0 0 0.0235
0 0 0 0.2015
0 0 0 0.5043
 

El formato de vez en cuando varia, lo normal es que sean 4 columnas tipo flotantes, pudiendo ser negativas o positivas. con 1 numero y 5 decimales las primeras 3 columnas y la 4ta columna de un cero y 4 decimales.

De vez en cuando puede ocurrir que den las primeras 3 columnas 0 o alguna que otra columna de 0.

     Me interesa esa opcion de trabajar con archivos bianrios, pero por desgracia ese formato no se me puede entregar de otra manera, conoce alguna manera de convertirno en formato binario y trabajarlo de la manera que me dices en ese otro archivo convertido??

     Muchas gracias por la respuesta, como dije soy nuevo en este lenguaje y estoy aprendiendo a los golpes, como dicen por ahi me clavo un puñal en la mano jajajaja.

     Hasta ahora encontre una manera de hacerlo con la funcion getline, pero como dices es engorroso hacerlo y me da la impresion de que no es muy eficiente... Al trabajar con millones de datos la eficiencia es algo que debo cuidar desde el incio. Por lo que si conoces una manera de convertir ese archivo a formato binario para posteriormente obtener las columnas y encerrarlas en un vector o un array entonces estaria mas que agradecido.

---

Holaa, gracias por tu respuesta, aunque ya resolvi como hacerlo con la funcion getline que lee linea por line el documento y solo coloque un contador junto con un if que me ejecutara el codigo cuando el contador informase que estaba en la linea que necesitaba, pero me da curiosidad porque no se como trabajar con el scanf. Cual es la eficiencia del scanf?? Se puede utilizar para hacer lo que te comento de agarrar cada columna y encerrarla en una variable??

     Hola, espero que todos tengan un buen día.
Necesito su ayuda para entender la forma más eficiente de trabajar con muchos datos...
Tengo un archivo que tiene como 2.000.000 de datos, divididos en 4 columnas.

     El formato sería algo así:

3554
4562
11     11
12     12
0,00  0,00  0,00
12     13     15     16
11     11     11     11
20     20     20     30

     Como pueden ver, primero encuentro 2 líneas con 1 columna, luego 2 líneas con 2 columnas, luego una línea con 3 columnas y por último comienzan las 2.000.000 líneas con 4 columnas, todos los valores son decimales y estan separados por un espacio. Lo que quiero es saltarme las primeras 5 líneas del archivo y encerrar todos los valores de 4 columnas en una matriz. No sé cuál es la forma más eficiente de hacerlo, ya que hay tantos datos que el código puede llevar mucho tiempo.

     Estaba pensando en encerrar todo en un array, pero no siempre serán 2 000 000 de filas, ocasionalmente serán 2 500 000 o menos y necesito asignar el espacio de memoria que necesitará para ese caso.

     Me dijeron que era más eficiente encerrar cada columna en vectores, pero no tengo idea de cómo usarlos... Soy nuevo en C++ y no soy muy bueno con los punteros y los códigos que encontré en el internet para separar datos usando espacios en blanco no los entiendo. Trabajo con un archivo txt.

     Si alguien me puede explicar mejor esto, se lo agradecería mucho y de ser posible mostrarme un ejemplo de como hacerlo.

Esos manuales están muy desactualizados, me ayudan a medio guiarme pero en la versión en la que trabajo ya cambiaron muchas cosas.