Podes descargar la versión netinstall, o sino tenes que bajar la versión de 32 bits e instalar Xfce/Enlightenment con eso vas a andar bien. Todo lo encontrarás en www.debian.org

ice [N]ation

No estoy seguro si Debian ofrezca imagenes de instalacion como Ubuntu (Ubuntu Server), pero si usas la imagen de net install puedes obtener un resultado similar si desactivas la opcion de Desktop Environment e instalas los servidores que tu quieres.



De ahí si quieres instalar solo xfce/openbox/lxde etc, solo es cuestión de usar aptitude o cualquier otro gestor de paquetes que estes usando (synaptic, apt-get, etc).