Esta es una de las mejores preguntas que se pueden hacer,aunque desde ya,no es lo mismo que buscar un serial,en realidad el winrar no tiene ninguna idea de si el pass que metes es el correcto o no, lo que sucede internamente es que el mismo pass que se introdujo es utilizado para cifrar la informacion,como la mayoria te preguntaras como sabemos eso...
sencillo, crea un *.txt y zippealo,colocale una contraseña, y guarda tambien  el archillo zippeado sin la contraseña,abrelo con el olly ,como te daras cuenta (si es que escribiste algo en el txt),el que no tiene contraseña se puede ver su contenido interno con el olly,pero el archivo que si la tiene veras que no se entiende ni madre...
ahora convierte tu archivo zippeado a sfx (para colocarle un breakpoint),si lo scanneas con el peid te dice que esta protegido con upx,bajatelo y descomprimelo,despues vuelve a scannear y veras que ya no esta protegido,abrelo con el olly,busca una referencia test (algo como un cmp)si estas en la correcta despues de recionar F9 y colocar tu clave mala exactamente en este punto se detendra (claro colocale el breakpoint con F2,con F8 corre de linea en linea y llegaras a un bucle,tendro de este bucle veras que el rar o el zip intenta abrir el archivo pero evaluando caracter por caracter (del que escribiste),agarra de uno en uno y si es malo te sale el mensaje de error,si es el bueno te lo descomprime,pero nunca se ve la comparacion porque NO EXISTE,solo utiliza el pass metido,nunca evalua,asi que la unica forma es a fuerza bruta...
ni modo