Si está empacado, vas a tener que desempacarlo, o bien, saltear el packer con el depurador y sacar la rutina de generacion, todo junto.
Muchas veces puedes usar una herramienta para remover el packer del EXE, pero otras veces no es posible. Por eso, lo mejor es usar un depurador. Con el siempre podrás saltear el packer.
Despues, para sacar la rutina (algoritmo), vas a necesitar saber un poco de ASM. Siguiendo las instrucciones del desensamblado vas a poder determinar la rutina, función ó algoritmo.
Ahora, si necesitas ayuda en esto, deberías postear un link de descarga del EXE, asi lo podemos mirar y ayudarte mejor...

Saludos!