servidor de monitoreo??? creo que quieres decir, software de monitoreo, pues es más una aplicación que un servicio en si mismo.

no se, nmap es de los mejores, hay varias versiones con GUI para todos los sistemas que existen, wireshark es bueno tambien.

Puedes buscar las herramientas de backtrack o de wifiway, o de xiaopan para comenzar el tema de monitoreo de redes. Aunque más que saber usar los programas, deberias conocer los conceptos de las redes. Eso toma tiempo, pero es buen tiempo.