en las chinchetas hay tutoriales, para abordar y aprender ingeniería inversa

lo que planteas es una pregunta existencial hay aire en el planeta para alcanzar a respirar?...

el largo de un valor, si está programado a recibirlo , lo hará, si no lo está pues claramente tendrás el caso de las fuerzas brutas (inviables cuando son de sobre 32 de largo)

Conocer el algoritmo, pues eso lo evidencias con tu experiencia, normalmente usas pseudocodigo en decompileres...pero nada de eso es tan simple, pueden haber modificaciones en runtime

En resumen, medita en los malwares/virus/troyanos, si no se tiene el código de fuente como saben que pasa? analizan su comportamiento y como funciona, lo demás ya lo tienes conocido...

Saludos y buena suerte/buen inicio.

pd:no acepto privados.