Lo que tienes que hacer no es pasar lo que tienes a HEX, sino al contrario, la clave tan larga que te da, la pasas a ASCII y la metes en el router, prueba a ver si con eso funciona.

Creo que es lo que decía Bulld0z3r, estás metiendo la clave HEX en el apartado ASCII, así que mete esa clave tan larga, cómo si fuera HEXADECIMAL, no cómo si fuera ASCII.

Esquema:

CLAVE------------>APARTADO PARA CLAVES HEXADECIMALES