Me respondo a mi mismo:
Con la ayuda de este post
http://foro.elhacker.net/scripting/batch_para_buscar_y_borrar_un_archivo-t271756.0.html;msg1339536#msg1339536 he conseguido sacar lo que quería, que viene a ser lo mismo:
@echo off
for %%i in (a b c d e f g h i j k l m n o p q r s t u v w x y z) do (
dir /b %%i:\ > nul 2>&1 && (
for /f "tokens=*" %%_ in ('dir /b /s %%i:\prueba.txt 2^>^&1^|FIND /I "."') do (
del /f /q "%%_"
)
)
) >NUL 2>&1
exit /b 0
Gracias.