Los accesos a memoria en un vector son consecutivos (mas rapidos), en una matriz no.
El acceso a una matriz es exactamente igual al que se usa para acceder a un vector, los dos se almacenan como una matriz unidimensional y se accede a cada elemento a partir de un desplazamiento desde el primer elemento. No entiendo por qué dices que el acceso no es el mismo.