Es exactamente como te comentan. Todos los datos, TODOS se almacenen en binario. Ya sea en memoria, ya sea en disco duro, cinta magnética, etc.

Esos datos se pueden leer luego de diferentes formas, para explicarlo

Vamos a almacenar un texto plano, que sera: "Este es un texto de ejemplo"

Lo que se graba en el disco es binario. Primero unos datos de cabecera que indican varias cosas, como donde empieza el archivo, donde termina, etc. Luego en binario se guardan unos números (en binario) que corresponden a los caracteres ASCII de cada letra, porque estamos guardando un fichero de texto plano.

Si eligieramos guardar el texto en otro formato, se grabarían otros datos, pero siempre en binario. No podemos grabar de otro modo.

El formato en que grabamos una información simplemente indica como descomponemos la información a grabar en "unos y ceros" para almacenarlos, e indica al sistema como traducir de nuevo esos "unos y ceros" al mismo estado en el que se almacenaron.

Esto a un nivel muy simplista. La información se trata con mas detalle, ya que se necesita indicar donde se almacena, donde empieza y donde termina y otros datos como las comprobaciones de seguridad y otras. No obstante básicamente es eso. Tu no puedes "grabar" un fichero en el disco en hexadecimal porque los discos almacenan "unos y ceros" y nada mas. Debes de convertir los datos a grabar a binario y guardarlos, y luego recuperarlos y dejarlos como estaban.

Los formatos en este caso son solo las instrucciones para grabarlos y recuperarlos