Hola, no importa si tenés el hash de un archivo .rar, no te va a decir el algoritmo de cifrado. Sin embargo, te debería decir en las propiedades del archivo .rar. De todas maneras, quedate tranquilo que no va a ser "base64", sino algo bastante más complejo como AES.
Podés usar utilidades para romper .rar como
http://www.golubev.com/rargpu.htm. Dudo igual que puedas llegar a romperlo (a menos que puedas hacer un ataque de diccionario).
Saludos y suerte.
APOKLIPTICO