el código está malo... en M1, en la linea 14, se pasa M2 como una variable, pero M2 es una función, en la linea 17 es lo contrario, se para 8 como función pero r es variable, a demás M2, está incluido dentro de M1, y queda de más decir que es mala practica anidar funciones


por otro lado si usas google chrome, el te puede ayudar con eso... tiene un debugger de jscript integrado

aquí todo lo que necesitas saber sobre el
https://developer.chrome.com/devtools/docs/javascript-debugging

ya! pasas M2 como referencia para que r se pueda ejecutar como función, se me había pasado eso, igual con el debugger de chrome podrías ver eso claramente

Por partes:

M1(3);        
var x = 1;
alert(x);

Tu programa básicamente empieza por llamar M1 con el valor de 3

function M1(t, r) {
    if (1 < t) {
        var x = 1;
        M1(t - 1, M2);
    } else {
        r(t + 1);
    }
 
    function M2(y) {
        x = t + y;
    }
    alert(x);
}

Al llamar M1(3), caemos en el if del condicional.

    if (1 < t) {
        var x = 1;
        M1(t - 1, M2);
    }

Declaras X con el valor de 1 (en el contexto de la llamada M1(3))
Se vuelve a llamar M1 con (3-1, M2) (x y t en el contexto de M2 es x, t en el contexto de M1(3), 3, 1).
Caes de nuevo en el if del condicional.
Declaras X con el valor de 1. (en el contexto de la llamada M1(2))
Se vuelve a llamar M1 con (2-1, M2) (x, t en el contexto de M2 es x, t en el contexto de M1(2), 2, 1).
Ya no caes en el if del condiciona.
Llamas a r (M2) con 2.

    function M2(y) {
        x = t + y;
    }

x (de M1(2)) es 4.
Imprimes x (no esta definida en el contexto de M1(1) ni en el contexto global).
Regresas a la llamada M1(2).
Imprimes x (4).
Regresas a la llamada M1(1).
Imprimes x (1).
Regresas a tu programa.
Defines x como 1.
Imprimes x (1).