Yo tampoco llevo mucho tiempo en esto de la criptografía, pero por lo que alcanzo a ver en tu algoritmo parece prometedor. Aunque deja te digo que ese tipo de cifrado se parece mucho a un tipo de cifrado donde generas un hash de la clave y después haces un XOR entre el hash y el mensaje que deseas cifrar.

¿Ya lo estás programando? ¿En qué lenguaje lo estás programando?

Ahora, lo que estoy viendo en tu algoritmo es que la secuencia de números la haces a partir de los caracteres del mensaje y después haces el XOR con la clave. Si utilizas toda la información que te genera ese cifrado el mensaje final será mucho más grande. Espero que después puedas explicar mejor el algoritmo.

Saludos y suerte.

Pues, es posible, aunque yo lo haría de la forma en la que te he dicho. Es decir, cambiar el algoritmo:

Algoritmo actual	Modificado
(P^PI*e) XOR K	(K^PI*e) XOR P

Y sería cuestión de obtener una secuencia de bytes del resultado de "K^PI*e" para ir haciendo un XOR byte a byte del número decimal obtenido y "P".

Si revisas el código del algoritmo de cifrado que dejé y analizas el código te darás cuenta de que ahí implemento esto que te digo, pero realmente no se hace ninguna  conversión de la contraseña a otro valor (les dije que era muy básico  ), y en su lugar hace el XOR directamente con los caracteres de ambos.

Como te digo tú idea es totalmente posible y es realidad es sencilla, cuando desarrolles la función de cifrado te darás cuenta de que no te va llevar más de 50 lineas de código el escribirla (creo) y otras 50 la del descifrado.