Seguro que hay mas maneras de limitar el login repetido pero te dejo una forma sencilla de hacerlo desde iptables y otra desde la configuracion de ssh que encontré:
iptables -N pqtes-tcp-permitidos
iptables -A pqtes-tcp-permitidos -p TCP -m state --state NEW --dport 22 -m recent --set
iptables -A pqtes-tcp-permitidos -p TCP -m state --state NEW --dport 22 -m recent --pdate --seconds 60 --hitcount 4 -j DROP
iptables -A pqtes-tcp-permitidos -p TCP -m state --state NEW --dport 22 -j ACCEPT
la primera regla crea la cadena de paquetes, la segunda regla agrega el número IP que inicia una conexión SSH a una lista, la tercera regla actualiza la lista y prueba que no hayan más de 4 requerimientos nuevos en un lapso de 60 segundos, Si los hay, la regla descarta el requerimiento. De esta manera limitamos la tasa a máximo 3 requerimientos por minuto por IP
http://www.ubuntu-es.org/index.php?q=node/95549SSH te permite configurar un numero maximo de intentos, esto sirve para que el servidor rechace automaticamente cualquier intento de conexion, esto se configura en el archivo: /etc/ssh/sshd_config
Se agrega la linea:
MaxAuthTries 2
http://blogdrake.net/blog/drakedalfa/limitar-intentos-de-conexion-sshSeguro que alguien te indica como hacerlo desde el watchdog
En este otro post tienes algunos parametros que tambien son interesantes para lo que quieres:
http://www.linuxtotal.com.mx/index.php?cont=info_seyre_004