Muchas veces nos hemos encontrado con un fichero de texto plano en el que hay palabras repetidas y queremos borrarlas. esta es la solución


Esto es bueno para optimizar diccionarios de crakeo

Nota: No se como se comporta con ficheros grandes

Un saludo