Es una matriz ó array de array de F filas (definidas en la macro) por C columnas (también definidas en la macro).

{2, 4, 6}, <----- la primera fila, la fila 0
{12, 14, 18}, <----- la segunda fila, la fila 1
{19, 24, 2} <----------- la tercera fila, la fila 2

Sí. Es igual que definir variables F y C y darles valor de 3 respectivamente.

Mira, en un principio lo pediste que fuera con una matriz, cosa que no tiene sentido, ya que si hablamos de un salón de clases, lo mejor sería un arreglo, es decir, una estructura lineal, no una matriz.

#include <stdio.h>
 
#define A   5
 
int main(void)
{
    unsigned int i;
    signed int arreglo[A] = {19, 24, 2, 3, 45};
 
    unsigned int menores = 0, mayores = 0;
 
    for(i = 0; i < A; i++)
        if(arreglo[i] >= 18)
        {
            mayores++;
        } else {
            menores++;
        }
 
    printf("Mayores : %u\nMenores : %u\n", mayores, menores);
    getchar();
}
 

Si no sabes cuántos alumnos serán, necesitas asignación dinámica de memoria, un arreglo dinámico.

#include <stdio.h>
#include <stdlib.h>
 
int main(void)
{
    unsigned int i, n, mayores = 0, menores = 0;
    printf("n : ");
    scanf("%u", &n);
 
    signed int *alumnos = malloc(n * sizeof(int));
 
    /* Guardar los datos : */
    for(i = 0; i <  n; i++)
    {
        printf("Alumno %d : ", i + 1);
        scanf("%d", alumnos + i);
        /* Limpiamos el buffer */
        while(getchar() != '\n');
    }
 
    /* Hacemos el conteo */
    for(i = 0; i < n; i++)
    *(alumnos + i) >= 18 ? mayores++ : menores++;
 
    printf("Mayores : %d\nMenores : %d\n", mayores, menores);
    /* Liberar la memoria */
    free(alumnos);
    return 0;
}
 

Sigo sin entender para qué una matriz.

Mmmm, no, a menos que cada sección tenga el mismo número de alumnos.

Ejemplo:

alumnos[10][20], 10 secciones con 20 alumnos cada sección.