En teoría esto está solucionado, pero en el default, quiero que cuando sea error, te vuelva al menú, y si pongo menu(), luego es bucle infinito en caso que pulses una letra.

Ok! Lo intento con cin, pero en el while(), de dónde sale el: pregunta and pregunta. ¿Qué es pregunta?

Bueno, es igual... eso no es lo que quiero, pero gracias.

A ver si me entiendes ahora:
tengo el menú con la función switch(): si pulsas 1, se va a cifrar(), si pulsas 2, se va a descifrar(), si pulsas 3 te sale del programa, luego tengo un default que dice que si pulsas un número diferente de 1, 2, 3 te salga un MessageBox. Hasta ahí bien... pero si pulsas una letra, sale el MessageBox, infinitamente (o sea, que si pulsas aceptar, te sale otro...).

Lo que quiero, es que aunque pulses una letra (imaginemos, por equivocación), te salga el MessageBox 1 VEZ, Y LUEGO VAYA AL PROGRAMA SIN QUE PETE (o sea, que el MessageBox NO te salga INFINITAMENTE).

  Se ve que quieres !

  Sigue asi... lo de los datos binarios hace tiempo probe con un algoritmo sencillo con un puntero void con un tamaño arbitrario la cuestion la hacia  con malloc y memcpy leia por decir 8 bytes del fichero y le concatenaba 1 byte basura   al final el fichero quedaba algo inflado e ilegible me parece buen concepto para iniciar .....


  Saludos .....

  Otra cosa acostumbrate a no usar scanf y printf estas funciones estan baneadas por microsoft si declaraste iostream puedes utilizar cin y cout