Os dejo los enlaces a unas herramientas que he verificado sirven para desinstalar todo tipo de drivers y servicios (incluidos aquellos que dejan residentes en el sistema algunos programas ajenos al hardware).

Estas herramientas no solo borran el driver.sys sino que también lo desinstalan
(si solo lo borramos como hacen otros programas nos saltará patallazo azul al iniciar Windows).

Por supuesto que hay que manejarlas con especial precaución:

Comodo Programs Manager (desinstalar drivers y servicios)
https://www.comodo.com/home/support-maintenance/programs-manager.php

Drivers Magician (desinstalar y actualizar drivers, los no Microsoft los marca de rojo)
http://www.drivermagician.com/index.htm

Ahora solo me queda saber cómo se pueden desinstalar los drivers residentes "manualmente" sin falta de ningún programa.
¿alguna pista?

Gracias por el aporte pero...
El administrador de dispositivos del panel de control solo muestra los dispositivos físicos conectados:
-No muestra los drivers de hardware que ya no está presente en el sistema y cuyos archivos de referencia se siguen cargando al iniciar Windows (por ejemplo móviles conectados por USB, tarjetas PCI sustituidas...).
-Tampoco muestra los drivers de hardware virtual que dejaron ciertos programas simulando dispositivos que realmente no existen (por ejemplo unidades virtuales de copia de seguridad, de instrumentos virtuales de música...) pues al corromperse el programa (borrado de sus archivos y datos de registro) o al desinstalarlo muchos de estos siguen dejando el driver residente en el sistema.
-Por otra parte los virus que se instalan como un driver "tampoco aparecen" en el administrador de dispositivos.

Respecto al programa Driver Sweeper, mejor olvidarlo, solo puede causar problemas de pantallazos azules en el sistema. El programa se dedica a borrar todo .sys de tres marcas de tarjetas gráficas (incluso los que trae Windows), no desinstala, por lo que al reiniciar cómo el sistema no encuentre un driver.sys residente saltará un pantallazo azul. En definitiva, con este solo se podrían borrar 200Kb de los drivers que trae Windows, siempre que no se hayan utilizado antes, quedando los mismos residentes en el inicio de Windows.

Saludos