Cuando asignes memoria comprueba siempre que se ha logrado porque podría ser que mallo falle y free no encuentre tal asignación.
También puede ser que durante el transcurso del programa hayas reasignado matriz a otra cosa.
De todas formas, no lo sé pues no he visto el código completo, antes de liberar matriz debes liberar el resto de elementos que lo componen.

Sigo:
En el segundo mallo, en que asignas memoria para los elementos de matriz, cuando das el tamaño del sizeof debe ser un int, no un int *
Además en C, a diferencia de C++, no necesitas hacer el casting al dato devuelto por malloc, C ya lo infiere del contexto.