Seria lista blanca en todos casos, y tendrías que buscarlo para el firewall que uses. Segun lo ultimo que vi usabas iptables:

http://serverfault.com/questions/30026/whitelist-allowed-ips-in-out-using-iptables

Ten cuidado cuando lo hagas, pon tu IP tambien o no bloquees todos los puertos porque seguramente termines jodido la session SSH y no puedas volver a conectarte xD

Saludos