Lo que quieres es evadir el AV de la máquina objetivo, no?
Pues herramientas como metasploit, generan payloads que tienen firmas que son bastante conocidas por la mayoría de AVs modernos... puedes tratar de codificarlo, como un algoritmo como "shikata_ga_nai", pero veras que independiente del número de iteraciones que apliques en el proceso de codificación, veras que "a veces funciona y a veces no"...
El mecanismo más efectivo es crear tu mismo el shellcode, cosa que evidentemente requiere que tengas conocimientos en ensamblador, pero es el mecanismo más seguro y efectivo para evadir AV's ademas de que, si estás por aprender, te será mucho más útil y entretenido eso que estar "jugando" con metasploit.
De todos modos, si aun así quieres seguir intentando evadir tu AV con el shellcode que te genera metasploit, puedes echarle un vistazo a estos posts:


http://thehackerway.com/2012/02/10/intentando-evadir-mecanismos-y-restricciones-de-de-seguridad-intentando-evadir-anti-virus-usando-custom-encoders-lenguaje-c-y-metasploit-framework-parte-i/


http://thehackerway.com/2012/02/13/intentando-evadir-anti-virus-usando-metasploit-framework-y-visual-basic-contra-plataformas-windows-parte-ii/

Es igual a lo que te comentaba antes, los AV normalmente se encargan también de monitorizar el trafico. Todo lo que se transfiera a la máquina, será analizado por el antivirus y como te comentaba, si la firma del payload esta dentro del repositorio de firmas del AV, pues ya has visto lo que ocurre...
La solución más comúnmente utilizada (y que suele ser la menos fiable porque es muy probable que el payload siga siendo detectado por el AV) es codificando el payload del ejecutable con un encoder como shikata_ga_nai o como explicaba en los enlaces que te he indicado antes, creando una plantilla en lenguaje C y escribiendo instrucciones que modifiquen la firma del ejecutable generado. (Esta seria la solución tipo "script-kiddie"....
)
La más efectiva, y la que suelen utilizar los atacantes en el "mundo real" es creando un shellcode poliformico y en algunos casos, enviando el payload cifrado, el cual posteriormente es decifrado en la plataforma del objetivo. Son las técnicas más efectivas que conozco actualmente, pero también son las más difíciles de implementar por el nivel de conocimientos que vas a necesitar (lenguaje ensamblador)

google -> create custom shellcode.
google -> custom shellcode ia32.
google -> bypass av custom shellcode


Ademas, lee detenidamente los enlaces que te he dado anteriormente y otros artículos de la misma serie sobre evasión de mecanismos de seguridad.