FreeBSD con Jails o Solaris con Zones ... son virtualizaciones a nivel sistema operativo, y podés correr decenas a cientas de instancias (según que compu tengas) con poco costo, en un entorno seguro.
Si vás con FreeBSD (lo que te aconsejo), lee sobre ezjail y jails (en el handbook)

Si andás con pocos recursos, podés combinar las jails con zfs, para andar haciendo rollbacks de cualquier cambio que se dé en una de esas máquinas virtuales cada X tiempo. (igual, por el diseño de ezjail, el sistema base de esa "jail" no es modificable), sino, podés ir largando jails nuevas, pero te advierto que un DoS/DDoS va a matar la performance de tu sitio muy fácilmente, ya que crearlas tiene su overhead.

Saludos.

P.S: Quizá te interese esto de FreeBSD -CURRENT -> http://wiki.freebsd.org/Hierarchical_Resource_Limits