Me pilla el AVG al iniciar el RAT al arranque.
Suponiendo que te refieres a que el AV salta al ejecutar el malware:
Creo que estás confundiendo términos... Según lo que cuentas parece ser una
detección por comportamiento. Ésto es un tipo de detección heurística pero nada tiene que ver con la emulación.
Saltarse esas detecciones puede ser muy complicado. Depende sobretodo en que es lo que el AV detecta. Para saberlo necesitas buen nivel de ensamblador, técnicas de debugging y paciencia. Se trata de ir nopeando bloques de código y ejecutar. Con algo de experiencia serás capaz de ver APIs o bloques sospechosos y avanzarás más rápido.
Si puedes dar más información sobre el ejecutable será más fácil ayudarte. Un dump del PE sería un buen inicio.