hola.. miren yo estoy por hostear un juego online.
y quisiera saber cómo encontrar las vulnerabilidades de mi propio hosting o server.
como para que no logren hacer nada en contra mio.

Pues casi puedes hacer la auditoría entera ya que te pueden intentar entrar al servidor de mil maneras. Si quieres seguir un orden te recomiendo:

1) Footprinting: puedes omitir la búsqueda de info pq ya sabes cual es tu servidor
2) Fingerprinting: Pasale el NMAP, para ver que puertos te saca, y si es capaz de obtener el sistema operativo y versión.
3) Ataques Web: Verifica que filtras bien caracteres tipicos que se usan en las inyecciones de sql, xss, blind, ..., parametrizando bien todas las variables.
4) Búsqueda de vulnerabilidades: Pasale algún scaner como Nessus, GFI, Retina (como te ha dicho Kamsky, el mas recomendable es Nessus, para empezar pq es gratuito  aunque nunca hay que fiarse de uno solo)

Y poco mas, si pasa todas las pruebas tendrás el server bien securizado, como ya te han dicho echa un vistazo a las chinchetas que profundizan mucho mas en cada parte

saludos!!