Lee sobre claves asimetricas y simetricas.
En concreto, te viene bien el tema de algoritmos de clave pública/privada.
Se trata de un mecanismo basado en el concepto de clave simetrica que hace que los ataques MITM sean más dificiles de llevar a cabo.

El cifrado de clave publica/privada, consiste en que solamente el emisor puede descifrar mensajes utilizando su clave privada, mientras que absolutamente cualquiera puede cifrar mensajes utilizando la clave pública, evidentemente en este escenario cifrar mensajes es simple (solamente es necesario disponer de la clave pública) pero para descifrar el mensaje es necesario conocer la clave privada (que solamente conoce el emisor que ha creado dicho par de claves). Es un mecanismo de cifrado fuerte que no depende de la huella digital y que es ampliamente utilizado en soluciones como TLS/SSL y SSH.
Para conocer un poco como funciona y que te sirva de ejemplo, puedes utilizar GnuPG (GPG):  http://www.gnupg.org/

También puedes utilizar OpenSSH que tiene una herramienta llamada ssh-keygen la cual permite la generación de un par de claves Pública/Privada utilizando RSA o DSA.

http://thehackerway.com/2011/08/15/herramientas-para-hacking-en-entornos-de-red-%E2%80%93-conceptos-basicos-y-avanzados-de-ssh-parte-vi/

Si después de leer los enlaces y otros recursos que encuentres en internet, tienes alguna duda, intentaré contestarte, pero vamos, que en realidad no es tan complejo como suena.
Un Saludo.

Ah, vale, ahora entiendo tu duda...
Cuando se firma un documento, es necesario crear una huella de dicho documento, la razón? por integridad de los datos y no repudio, que quiere decir esto? cuando se cifra cierto volumen de datos, (por ejemplo, documentos de texto) las técnicas de cifrado de mensajes habituales resultan poco practicas (por el tamaño que puede generar el mensaje cifrado) por esta razón, se utilizan algunas funciones matemáticas que generan la huella digital del documento, que normalmente es conocida como "hash" del documento.
Este tipo de funciones son interesantes principalmente por 3 características:

1. Cuando se aplica a grandes volúmenes de datos, el resultado es una huella con un tamaño relativamente pequeño (una huella (o hash) tiene entre 128 y 160 bits).
2. Aunque teóricamente es posible encontrar dos mensajes con idéntica huella, la probabilidad de que esto ocurra es realmente pequeña. Si se manipulan los datos, la huella cambia, esto quiere decir que es fácil darse cuenta que un documento ha cambiado si su hash es distinto del documento original.
3. Se trata de un mecanismo "pesado" lo que hace que los ataques de fuerza bruta sean computacionalmente exhaustivos y dificultosos.

Si no se creará un hash del documento, firmar un documento "crudo" daría como resultado streams de bytes con tamaños inmanejables y probablemente poco consistentes, además de que alguien podría manipular el documento y no habría constancia de dicho cambio, ya que no hay una huella que lo demuestre.
Por ese motivo, siempre que se firmen documentos o mensajes con un cierto tamaño, es necesario generar el hash del documento.

Correcto.
Ademas de que algunos algoritmos no admiten mensajes demasiado largos (situación que se da con frecuencia en el flujo de bytes de documentos), por ello se hace necesario obtener la huella y posteriormente trabajar sobre ella.