Vamos a ver, tu lo que necesitas es securizar todos los puertos por los que tu maquina ofrece algun servicio, para ello una recomendacion muy general es evitar contraseñas sencillas, actualizar versiones y filtrar siempre las entradas de los usuarios, hay mucha info sobre esto en google.
La primera cosa que yo haria es usar un firewall y suponiendo que los que te atacan utilizen (una o varias)ip's siendo estas las mismas, prueba a evitar conexiones desde estas, asi, si el firewall desecha esas ip se lo pondras mas dificil.
Luego la cosa es, que tipo de ataque te estan haciendo, Defacing, DDoS?No entiendo a que te refires con
y hay unos graciosillos que se dedican a tirarme la ip de la máquina
Si lo que estas sufriendo es un DDoS o un DoS(es decir, el servicio se queda colgado y no responde mas peticiones) desde el mismo firewall prueba a limitar el numero de conexiones simultaneas que puede hacer la misma IP.
Para implementar un firewall (en UNIX) puedes utilizar iptables(hay mucha info en google) aunque hay otros softwares mas avanzados(se basan todos en iptables).
Saludos.