El problema lo tienes, en que no puedes guardar un carácter (A,B,C,E,F etc) en un vector de enteros.

lo que deberías hacer, es en vez de que a[n] sea una letra, es imprimir esa letra por pantalla en vez de asignarla al vector.

ejemplo:

if(a[i]== 10)
printf("A");
 

Ahora algunas cosas relativas al programa, en vez de tantas comprobaciones con if, n o sería mejor usar if, else if, y else? void main es una mala costumbre, main siempre debería retornar algo.

int main(){ 
variables;
instrucciones;
return 0;}

conio.h no es una librería estandar, para evitar su uso, podrías utilizar otras funciones como getchar, gets etc que si son estándares. Otra función de conio.h, clrscr te puede dar problemas según el sistema operativo donde ejectutes el programa

ufff pero no es mas facil pasarlo a hexadecimal directamente ?
algo asi:

#include <stdio.h>
#include <stdlib.h>
 
int main()
{
    int decimal;
 
    printf("introduzca un numero decimal: ");
    scanf("%d", &decimal);
    printf("el numero en hexadecimal es: %x\n", decimal);
    system("pause");
}

pero boe si te queres complicar lo estas haciendo bien por lo visto
coincido con danyof para mi es mejor usar vectores

Es que en este caso el vector es muy util ya que estas mostrando cosas por pantalla...

Los if y los switch vienen bien si en cada caso o en cada condicion tienes que hacer una ristra de tareas:

reservar memoria, abrir un archivo, llamar a tal funcion, etc etc...

pero para un simple printf mas comodo con vectores