Fíjate en la información de la función (http://www.cplusplus.com/reference/clibrary/cmath/sqrt/). Problema solucionado:

Copia y pega el mensaje del error. ¿Cómo creaste el proyecto?

Repito, estás utilizando una macro innecesaria. ¿Acaso BYTE no es una macro?

¿Y el porqué de esta macro tan innecesaria?

http://ricardonarvaja.info/WEB/INTRODUCCION%20AL%20CRACKING%20CON%20OLLYDBG%20DESDE%20CERO/

¿De verdad que encontraste de todo menos esto ?

¿Programas en C o en C++? Si programases en C, el método de reserva de memoria no estaría bien dado que el operador new no existe en dicho lenguaje; una buena solución sería utilizar malloc (http://www.cplusplus.com/reference/clibrary/cstdlib/malloc/). En el caso que programases en C++ el método de reserva de memoria tampoco sería válido ya que no utilizas este operador de forma correcta (http://www.cplusplus.com/doc/tutorial/dynamic/).

Como plus, mejor que no utilices ni strcpy ni strcat (http://foro.elhacker.net/programacion_cc/lo_que_no_hay_que_hacer_en_cc_nivel_basico-t277729.0.html).

Añade getchar antes del return (http://www.cplusplus.com/reference/clibrary/cstdio/getchar/).

De nada. A propósito, estás utilizando el "método" LowLevelKeyboardProc. No sé si habrás leído la documentación en la MSDN (http://msdn.microsoft.com/en-us/library/ms644985.aspx) pero recomiendan que compruebes el primer parámetro:

También es de C++.