Si es un .rar de version 2 o inferior se podria ver de encontrar una colision hash para desencriptarlo. Estas versiones estaban usando CBC (http://en.wikipedia.org/wiki/Cipher_block_chaining)
Pero desde la version 3 estan usando AES de 128 bits (http://en.wikipedia.org/wiki/Advanced_Encryption_Standard) lo cual es muy jodido de romper (usando el metodo que sea)
Bueno, eso es hasta donde sé...
(Y no digo que sé mucho del tema porque el crypto no es mi fuerte. )