Hola, estoy teniendo problemas con una expresión regular donde se reemplazarán los valores con vacío donde no cumpla el formato de un serial.
"12345-ABCDE-12345" Es decir, 5 números seguidos de un guión medio seguidos de 6 letras mayúsculas de la A a la Z, nuevamente un guión medio y otros 5 numeros.

$('#form_verify_email').on('keyup', function(e)
{
       if($('input[name=input_code_email]').is(e.target))
       {
              form_verify_email.input_code_email.value = String(form_verify_email.input_code_email.value.substring(0, 5)).replace(/[^0-9]+/g, '');
              form_verify_email.input_code_email.value = (form_verify_email.input_code_email.value)+String(form_verify_email.input_code_email.value.substring(5, 6)).replace(/[^-]+/g, '');
              form_verify_email.input_code_email.value = (form_verify_email.input_code_email.value)+String(form_verify_email.input_code_email.value.substring(6, 11)).replace(/[^A-Z]+/g, '');
              form_verify_email.input_code_email.value = (form_verify_email.input_code_email.value)+String(form_verify_email.input_code_email.value.substring(11, 12)).replace(/[^-]+/g, '');
              form_verify_email.input_code_email.value = (form_verify_email.input_code_email.value)+String(form_verify_email.input_code_email.value.substring(12, 17)).replace(/[^0-9]+/g, '');
        }
});
 

De momento tengo esto, pero no entiendo ya que va bien hasta los primeros 5 números pero después aunque ponga guión medio no me lo toma y me lo quita.

Porque estás remplazando la cadena de texto en cada instrucción. Solo la primera instrucción toma los primeros 5 caracteres y aplica el patrón de remplazo. Ese valor se guarda en la misma variable que utilizas para hacer validación. Obviamente en las siguientes instrucciones no existen los caracteres después del índice 5...