Para conocer mejor el funcionamiento de un troyano, virus, gusano o malware en general, exísten dos tipos de análisis, el análisis dinámico y el análisis estático.
El análisis dinámico es el que tu pretendes realizar, es decir, ver el comportamiento de un malware dentro de un entorno (sistema operativo).
Está muy bien que utlilizes VMWare como máquina virtual, no olvídes tener preparada una imágen con windows (puedes tener windows xp, vista...el que quieras). Realiza un backup de la imágen de windows limpia que utilizes.
Aparte de regshot, hay otros programas que te pueden se útiles, como IDA PRO o Olly debugger por si quieres conocer mas información a nivel interno, como cadenas de texto. A veces el malware contiene las cadenas de las rutas donde se copian, claves de registro...sin cifrar y te puede dar rápidamente una idea de como se puede comportar.
Hay otra gran cantidad de programas que puedes utilizar, por ejemplo programas que te extraen información del propio ejecutable (lenguaje de programación, compilador utilizado...).
Te recomiendo para empezar un tutorial que escribí hace tiempo con un ejemplo práctico de análisis de malware. Puedes descargarlo directamente
aquí.
Ahh! se me olvida, también puedes ver si el malware se conecta a algún servidor y que información envia con un sniffer tipo Wireshark.
Se trata de buscar información y enterarse de todo lo que se puede hacer y lo más importante, ir probando.