Simple, lo guardas en una variable. Por ejemplo.

Sumo 1.

En el momento de la suma dejas ese 1 que se guarde en una variable y que el botón deshacer reste al contenido del textblock lo de esa variable. Lógicamente la variable cambia cuando vuelves a sumar un número... ¿entiendes lo que te quiero decir?

Bueno, dejar la variable a 0 cuando des una vez al deshacer. Pero solo funcionaría una vez. Podrías utilizar un arraylist y guarda todas las sumas que vayas haciendo, y cada deshacer sería ir recorriendo la arraylist.

Ejemplo:

1+2+3+4+5

en el arraylist quedaria

+1, +2, +3, +4, +5

El deshacer haría, -5 a tu contador total y borraría el último hueco del arraylist(el que tiene un cinco), si das otra vez volvería a restar el ultimo hueco del arraylist pero esta vez seria el 4...

No se si me entiendes.