Es otra alternativa a la que puede ponerse el pero de que algún compilador no la acepte. En general la uso para matrices normalitas. Si el tamaño es importante uso asignación dinámica de memoria.

Salu2!.

Cambia:

*notas = malloc(alumnos * sizeof (char));

Por:

notas = malloc(alumnos * sizeof (char));

Como ya te comentaron el problema principal se debe a que tratas de almacenar todas las lineas cuando lo único que haces con ellas es obtener (mediante atoi) un entero. Es mejor declarar un solo array de caracteres (ya lo haces, el array "nAlumnos") y reutilizar este cada vez que debas leer una linea de la entrada estándar.

Si con todo quieres utilizar memoria dinámica debes reservar primero la memoria del bloque principal y a continuación la memoria para cada linea. Antes de terminar el programa liberas la memoria de cada linea y por ultimo la del bloque principal. De esta forma:

/* ... */
 
#define TAMANIO  10
 
/* ... */
 
char nAlumnos[TAMANIO];
int alumnos;
int longitud;
int x;
int i;
char **notas;
 
/* ... */
 
/* 1) Obtienes el numero de alumnos */
 
/* 2) Reservas el bloque de memoria principal */
notas = malloc(alumnos * sizeof *notas);
 
/* 3) Reservas el bloque de memoria para cada alumno */
for (i = 0; i < alumnos; i++)
   notas[i] = malloc(TAMANIO);
 
/* 4) Realizas las operaciones del programa */
 
/* 5) Liberas la memoria utilizada por cada alumno */
for (i = 0; i < alumnos; i++)
   free(notas[i]);
 
/* 6) Liberas el bloque principal */
free(notas);

Un saludo