Esto dará una excepción, porque el nombre es "el mismo" solo que con las minus/mayus cambiadas... (Vaya estúpida excepción!)

My.Computer.FileSystem.RenameFile("C:\tEsT.txt", "test.txt")
My.Computer.FileSystem.RenameDirectory("C:\OldDirectory", "OldDIRECTORY")

Para evitarlo conozco dos técnicas,
La primera es renombrar el archivo añadiendole un caracter al final del nombre del archivo, y luego volverlo a renombrar al nombre original añadiendo el formato "ProperCase" que queramos.
La segunda (Gracias Kub0x) es mover el archivo al mismo lugar con el "ProperCase", es decir:

Archivo de origen: C:\tEST.TxT
Archivo de destino: C:\Test.txt

Quisiera saber si existe una forma que no implique tener que mover el archivo, y que no implique tener que añadirle caracteres al final del nombre original.

Saludos!

Gracias ^^