Además de cifrado, deteción de antivirus (análisis estático, run-time, heuristica), ...también deberías leer sobre ofuscación de código
http://es.wikipedia.org/wiki/Ofuscaci%C3%B3nDe lo que se trata es de emplear una backdoor conocida y detectada y aplicando ciertas técnicas, volverla indetecable. En principio, si sólo quieres hacerla indetectable para un sólo antivirus, pues lo fundamental es que emplees ese antivirus para probar, es decir, que te lo bajes y lo instales. Si quieres hacerla FUD (Full Undetectable) utiliza novirusthanks
http://scanner.novirusthanks.org/ con la pestaña "Do not distribute the sample" en checked para tus pruebas