Si te refieres al tema de enviarle packetes etc... nemesis y hping son dos utilidades que dan muy buen resultado para no dar el cante, con hping puedes escanear la maquina manualmente. Nmap es algo mas cantoso pero con los paquetes fragmentados y alguna otra tecnica ids evasion que tiene puedes hacer algo guapo.
Pero escaneas, encuentras un servicio vulnerable, codeas exploit y la shellcode ¿?. Las de metasploit las he probado y algunas son detectadas. A nivel shellcode tambien hay tecnicas de evasion para los detectores, como no usar ciertos opcodes, poliformismo etc...
Lo que decias de los firewall realmente firewall, tienes una aplicacion llamada firewalk que te puede servir. De todas formas es un cantazo escanear yo no la haria si hablamos de la clandestinidad ( obviamente para escanear por ejemplo este servidor da igual ).
De todas formas centrate mas en explotar los servicios y encima de forma sigilosa. He hablado muy overflow etc... pero tambien hay temas de evasion a nivel sql injection, xss etc... . O cosas como gr security que no permite la explotacion de vulenrabilidades.
Cualquier duda preguntala. Espero que haya quedado un poco mas claro.
PD: Tambien hay tecnicas firewall bypassing, por ejemplo hace un año o asi salio como hacer bypass a un ssh con putty,

que guapo estuvo