Aunque parezca un vertedero "NO TOQUES EL INTERIOR DE C:\WINDOWS" para nada 

- Driver cache
No estoy seguro, pero creo que contiene backups y cachés de controladores (drivers) para dispositivos instalados en el sistema. Tambien es la que instala los drivers necesarios para las conexiones UPnP tipo USB, así pueda reconcer los dispositivos conectados al PC.

- Installer
Es una conjunto de ficheros con identificadores que contienen caché para las aplicaciones instaladas en el sistema.

- Inf
Como la propia carpeta indica son ficheros de INFormación almacenados para INIcializar ciertas aplicaciones y configuraciones de inicialización de determinas aplicaciones instaladas en el sistema.

- SoftwareDistribution
Almacena historiales de isntalaciones de actualizaciones, para poder eliminarla tendrías que para el sevicio (wuauserv) y después volverlo iniciar, el mismo sistema operativo ya generará la carpeta de nuevo cuando vea oportuno.

Saludos 

Cierto, estos ficheros lo que hacen son cachés de inicio guardadas de programas instalados en el sistema, así la próxima vez que inicies cierto programa se ejecutará más rápido. Esto también afecta en el arranque del sistema ya que carga está información sin necesidad de que se vaya a utilizar. A este sistema Microsoft Windows le llamó: EWF (Enhanced Write Filter) (http://msdn.microsoft.com/en-us/library/ms838511%28v=winembedded.5%29.aspx)

Para eliminar estos datos puedes, hacer esto, como el página oficial de Microsoft dice:

Ir a la carpeta y listo 

Por cierto, alguien sabe alguna página fiable dónde salgan más definiciones de las carpetas de windows?