Si has creado los arrays en el main no debes hacerlos de nuevo dentro de una función.
Pero si lo que quieres es pasar un puntero a la función y que ésta lo defina debes pasar un puntero a ese puntero.
Tu duda y el código que has pasado dicen cosas diferentes.

Pues en el segundo malloc, el que corresponde al número de evaluaciones, en vez de multiplicar por alumno lo debes hacer por n.

Fíjate que lo que estás haciendo en este código es una escalera. La nota alumno tendrá alumno entradas. Lo que lleva al siguiente problema:
nota[0] tendrá 0 bytes (indefinido, lo debe resolver el compilador pero ¿y si no lo hace?).
nota[1] tendrá 4 bytes
nota[2] tendrá 8 bytes
etc.

Supongo que te habrán dicho cuántas asignaturas tendrá cada alumno.

Crea un lanzador que compruebe si el archivo de tu programa y la DLL existen, y todas cuántas comprobaciones que necesites. Si no las encuentra que intente instalarlas en su sitio a partir de tu repositorio. Una vez que está todo correcto que ejecute el programa principal.

Haces preguntas muy complicadas para el nivel que aún te encuentras pues todas ellas son de manejo de memoria.

Los arrays básicos son datos en posiciones consecutivas en la memoria y además son gestionados por el propio lenguaje.

En cambio los basados en objetos no forman parte intrínseca del lenguaje por lo que alguien debe haber programado como obtiene la memoria, como la libera, si va a usar posiciones consecutivas o si estará diseminado por ella.

size_t es un typedef (si aún no sabes lo que es no desesperes, pronto llegarás a ello) sobre un tipo de dato intrínseco en el lenguaje sin signo capaz de ocupar toda una palabra del procesador. Normalmente es un unsigned long int.

register es una palabra clave, ahora en desuso, para indicar al compilador que preferimos que esa variable no vaya a la memoria sino que se quede en un registro del procesador, por ser estos de acceso más rápido y porqué las operaciones con datos se suelen hacen en los registros.

auto es una palabra clave, ahora en desuso, que únicamente existe para mantener la compatibilidad hacia atrás con un antiguo lenguaje de programación, el B. Este lenguaje no tenía tipos de datos y para declarar variables se utilizaba auto. En C auto declara una variable local pero se puede omitir ya que todas las variables que se declaran dentro de un bloque son locales a éste por defecto.

Un ejemplo de lo que te había dicho: controlar la entrada y actuar según lo que te hayan escrito.

#include <stdio.h>
#include <string.h>
#include <ctype.h>
 
int main() {
    char entrada[255];
    double numero;
    while(1) {
        printf("> ");
        fgets(entrada, 255, stdin);
        char *c = strchr(entrada, '\n');
        if(c)
            *c = '\0';
        entrada[0] = toupper(entrada[0]);
        if(strcmp(entrada, "S") == 0)
            break;
        if(sscanf(entrada, "%lf", &numero) == 1) {
            // Exito con adquirir el número, lo proceso
            printf("%f\n", numero);
        }
        else
            puts("Error en la entrada: Debe ser un numero real o 's' salir.");
    }
    puts("FIN DEL PROGRAMA");
}

Es imposible que la función te funcione. Cómo se suele decir intenta explicar el código a tu abuela. Tú mismo te indicarás los fallos.

No tienes ninguna tabla, sobreescribes el mismo dato todo el rato.

Captura la entrada como una cadena y después la procesas:
Si el primer caracter es una g guardas y sales. Sino es tu número. Si no es ni la g ni son números la entrada no es válida.

No se puede dimensionar un array a partir de una variabke.
Peor aún si la variable está sin definir. No debería leerse si antes no se le ha dado ningún valir.

La idea de un switch/case sobre la variable de control de bucle en un menú no le veo el sentido.