A veces te guste o no , tiene que haber ficheros duplicados... la razón es que están asociados a determinados programas, y la carecnia del alguno, puede impedir la ejecución de dicho programa.
Tampoco es infrecuente encontrar ficheros de configuración cuyo contenido son pocos bytes, que entre si son distintos, peor que causalemnte el contenido es el mismo.
También suele ser el caso de ficheros tipo: 'readme' y 'licencias', que son obligados con determinados programas...

Otra cosa es si la carpeta a filtrar sea una carpeta de tus documentos, donde todo lo que hay son cosas tuyas (vídeos, imágenes, etc...), donde la cantidad de copias sea la que tú decidas... todavía puede que tras eliminar las copias, la que quedare, no estuviere en la carpeta que tu esperaras...

...por toodo ello suele ser una opción manual lo de eliminar copias, si bien el locarlizarlas si suele ser automático.

Básicamente se trata de hashear la carpeta (de modo recursivo por lo general) al completo... después puede ordenarse la lista de hashes.. todos aquellos que tengan mismo tamaño y hash son candidatos a ser copias idénticas.... para solventar la duda entre esas 'coincidencias' se les pasa por otro hash distinto, si siguen coincidiendo, son copias, si alguno no coincide ahora, se trata de una fichero distinto que ha colisionado en hash con los otros... luego entre tales copias idénticas ya decides cual eliminar.