Para la conversión de sistemas de numeración existen : Método directo - División Reiterada - Multiplicación Reiterada - Sumas Ponderadas - Método de Horner. Ahora bien, seguramente será una conversión de decimal a hexadecimal, lo mejor en este caso será aplicar división reiterada. Ahora bien, el algoritmo lo puedes conseguir en cualquier libro.
Con respecto a la resolución mediante un concepto computacional, tienes 2 opciones: Recursividad, e Iterativo. La recursividad es la capacidad que tiene una función para llamarse a sí misma. La iteración en una función, hace referencia a tal concepto, ya que aplicarás seguramente ciclos, condicionados o incondicionados. Bien, ahora 2 links:
RECURSION,
ITERACION en sí la idea es una descomposición de un número entero( descripto por el método, para números de coma flotante se utilizan otros), por tanto en la iteración lo podrás descomponer aplicando funciones matemáticas, y en la recursión lo unico que cambiará es que llamarás a si misma a la función hasta que el número sea 0 o menor.
Un saludo!