No soy un experto en programación pero diría que eso depende de como trabaje los recursos la aplicación que tenga abierta dicho archivo.

Un ejemplo de esto:
Si abres un video con Media player classic lo puedes renombrar y hasta eliminar
Si lo abres con otro reproductor lo más seguro es que no te permita hacer esas cosas.

Aparte, cuando una dll está en uso, No puedes renombrarla ni eliminarla pero lo que puedes hacer es moverla de directorio...
Podrías intentar hacer eso, un pequeño engaño, mover el archivo a un lugar y copiarlo al directorio de origen ya renombrado.
Támpoco se que tipo de archivo intentas renombrar, Ni que programa lo tiene abierto... Así que...

@Echo off
Move "Directorio de origen\Archivo.ext" "%TEMP%\"
Copy "%TEMP%\Archivo.ext" "Directorio de origen\Archivo renombrado.ext"
Exit

Ejemplo:

@Echo off
Move "C:\Patatas.txt" "%TEMP%\"
Copy "%TEMP%\Patatas.txt" "C:\Tomates.txt"
Pause >nul
Exit

PD: No uso rename porque no es necesario al usar copy.

Salu2.