Personalmente, para hacer reversing en 64 bits uso IDA (Puedes seguir la guia de Bigundill@ "IDA de cabo a rabo" para aprender a manejarlo).
Para debuggear, Windbg, aunque tambien estoy probando un par de debuggers que pintan lindo, pero aún están un poco verdes: Bugdbg y Nanomite.
Creo que lo primero que debes aprender es todo el tema del calling convention y demás.
Te sugiero leerte unos de estos (o ambos):
pdf1
pdf2
Saludos!