No vas a poder. Para hackear servidores bien diseñados se necesitan años de conocimientos, no es algo que vas a poder hacer siguiendo tutoriales y videos de youtube. Si te interesa el tema lee varios libros de ciberseguridad, entiéndelo todo, haz tus servidores, practica los ataques y las defensas y entonces quizás con suerte encuentres algún fallo.