No soy un experto en la materia pero creo que no hay ningún tutorial sobre ello... la única manera de saber como funcionan es mediante reversing o mirando el código fuente de alguno que sea open source como el upx, de igual forma te va a llevar tiempo ya que es una ardua tarea, te recomiendo que te armes de valor y paciencia y sigas adelante con la idea de aprender a hacer algo similar.


saludos!!

primero hablemos conceptos:
1) un oep es original entrypoint, basta llegar ahi
2) un fake oep, es en teoria falsear el oep original, pero aun asi aunque parezca otro oep, deberia funcionar el programa, por lo cual, no protegerá en nada el codigo sensible del programa

Saludos Apuromafo

por otro lado te invito a conocer el faq, quizas puedas crear tu propio packer/compresor/crypter o lo que necesites

No soy un experto en temas de empaquetadores/protectores, solo queria puntualizar algo.
No se refiere necesariamente a lo mismo un compresor de ejecutables (UPX, ASPack) a un protector de ejecutables (Themida, Execryptor, etc). Ambos pudieran combinar ciertos aspectos de cada uno en algun punto pero su fin es totalmente diferente. Un ejemplo de esto es el tamaño del ejecutable obtenido al usar un compresor al tamaño usando un protector, el cual es mucho mayor que el tamaño del ejecutable inicial. Luego los protectores se especializan en proteger el codigo contra el reversing por esto le meten tantas cosas al ejecutable que se protege, en cambio los compresores solo desean minimizar el tamaño. Esto no quiere decir que, como dije antes, en algun punto ambos inlcuyan algunas caracteristicas del otro y visceversa. El punto al que quiero llegar es que lo que estas buscando son mas tecnicas de proteccion de ejecutables que de compresion, asi que mirando el codigo del UPX o cualquier otro "simple compresor" no vas a encontrar mucho. Podrias buscar sources de crypters o quizas de algun protector si lo encuentras y pudieras agarrar las tecnicas que estos usan o simplemente pudieras leer de las tecnicas que usan los protectores que mencionas e implementarlas por tu cuenta. En la web encuentras infinidad de tutoriales de reversing de themida, armadillo, asprotect, execryptor, enigma, etc, etc, etc...
Buena suerte!