pero ya tienes hosting, sí? te molestaría en decirnos con quien? es para saber que ofrecen, y si son confiables, desde ya te digo que en esa industria las compañías vienen y van, y hay muchos emprendedores que simplemente lo hacen por diversión, de antemano te sugiero que si no tienes dinero para un hosting, inicies con empresas al menos conocidas, como ByetHost, x10Hosting (conozco al dueño! es muy buena gente y ofrecen muy buenos planes con cPanel), 000webhost y hay otro cuyo nombre no recuerdo ahora.

Si ya tienes hosting y probablemente ofrecen una plataforma LAMP, digamos que tienes FTP, la forma más simple de conectarte sin siquiera descargar un cliente es desde Explorador de Windows. Escribes en la barra: http://ftp://usuario@dominio-o-hostname.tdl y luego podrás entrar a tu espacio web y empezar a subir archivos. Para que te quede cómoda la modificación de archivos web, yo personalmente recomiendo Dreamweaver (algo pesado, pero bueno, entre gustos no hay disgustos), ya que el te permite conectarte vía FTP para modificarlos en tiempo real, por lo general el puerto FTP es 21, ahí si ya depende de la compañía que te ofrece hosting, entonces debes contactarlos a ellos.

Lo primordial es hacer respaldos amigo!, puede ser una labor tediosa pero nunca sabrás que le puede suceder a tu hosting...

Y por último, si será un proyecto open-source, donde aún está en desarrollo, sin ánimo de lucro y no saldrá al público muy rápido, etc etc... hay muchas compañías "grandes" de diversos productos que te dan TODO lo que necesitas para iniciar el proyecto, pero debes mostrar que es una idea innovadora e interesante, incluso hosting gratis te dan, como dinahosting y kayako por ejemplo.

Saludos y suerte!