quizá leyendo en lugar de con .read usado un Integer.parseInt readLine() ?

así siempre lees sólo el numero (en este caso el codigo ascii) que te interesa sin tener caracteres de retorno de carro en el bufferedreader