Promedio de matriz por indicador de clase c#

Hola, quiero calcular el promedio de esta matriz pero solo clases

2 4 4 0 0
1 3 5 5 5
1 5 3 2 4
2 6 2 1 3
2 5 3 0 1

Es decir en la primera columna indica el numero de la clase que pertenece la fila, la primera fila solo indica el numero de clases, el numero de objetos y el numero de atributos.

Es decir

Código:

2 4 4 0 0 //matriz[0,0] numero de clases, matriz[0,1] numero de objetos, matriz[0,2] numero de atributos
1 3 5 5 5 //matriz[1,0] clase a la que pertenece la fila osea clase 1
1 5 3 2 4 //matriz[2,0] clase a la que pertenece la fila osea clase 1
2 6 2 1 3 //matriz[3,0] clase a la que pertenece la fila osea clase 2
2 5 3 0 1 //matriz[4,0] clase a la que pertenece la fila osea clase 2

En pocas palabras quiero el promedio de cada clase por columna

Este es mi código pero solo saca el promedio de la matriz completa

Código:

 for (int i=0;i<y;i++)
            {
                
                suma = 0;
      
                if (i > 0)
                 {
                     for (int j = 0; j < x; j++)
                     {
                         if (j > 0)
                            suma = suma + matriz[j, i];

                     }
                 }
                 promedio = (suma / (x - 1));
                 if (promedio != 0)
                    listcentroide.Items.Add(promedio);
               
            }