Tengo entendido que los "" es para cuando es una cabecera que has hecho tu, por ejemplo, si tienes tu programa así:
|
|--- main.c
|--- cabecera.h
|---carpeta
|
|----cabecera2.h
Pues esas cabeceras las incluirías con
#include "cabecera.h"
#include "carpeta/cabecera2.h"
Mientras que cabeceras como stdio.h y esas que te da el compilador pues son con los <> por que están en la ruta del compilador para los headers.
PD: Si utilizas "stdio.h" con comillas dobles también funciona, pero el compilador buscará antes el archivo "stdio.h" en el directorio actual.