depende del tipo de key que sea, si es la pública no te sirve de nada, si es la privada y tiene monado acceso por key puedes entrar sin contraseña (de hecho la key sería la "contraseña", la llave para entrar).

hmm interesante topic

A ver, hay 2 archivos relacionados con la conexión ssh por llaves, están:
id_rsa
id_rsa.pub


el primero hace relación a la llave privada, y el segundo a la llave pública

el id_rsa.pub se coloca en el servidor remoto al que te quieres conectar (con el nombre de (authorized_keys), y mediante el primero (id_rsa) te autentificas.

Si quieres conectarte a ese servidor, debería de estar esa clave en $user/.ssh/authorized_keys, pero además necesitarías la llave privada, sin las 2 no te puedes conectar. Lo importante es tener la clave privada.