Personalmente, para hacer reversing en 64 bits uso IDA (Puedes seguir la guia de Bigundill@ "
IDA de cabo a rabo" para aprender a manejarlo).
Para debuggear, Windbg, aunque tambien estoy probando un par de debuggers que pintan lindo, pero aún están un poco verdes:
Bugdbg y
Nanomite.
Creo que lo primero que debes aprender es todo el tema del calling convention y demás.
Te sugiero leerte unos de estos (o ambos):
pdf1pdf2Saludos!