por empezar hay un monton de cosas que no usamos en los kernels precompilados, al sacarlas se hacen mas livianos, lo que de por si va a usar menos memoria ram un kernel optimizado que uno precompilado, ese es mi conocimiento basico, tal vez haya algunas diferencias mas, esperemos que alguien las postee si las hay

Depende mucho de lo que optimizes, tu hardware y como esté configurado el kernel de la distribución (que usualmente es genérico y un tanto pesado), depende ...
Por eso los benchmarks pueden mostrar diferentes números ...
yo te aconsejaría mucha lectura sobre el tema .... podrías bajarte el código de kernel.org, hacer un "make menuconfig" y empezar a buscar en google lo que veas ahí ...
ya que usualmente optimizar el kernel es algo que se tiene que hacer sabiendo lo que estás haciendo ... por que podés olvidarte algún módulo importante como thermal, fan, ext4, etc ...

Igualmente, tenés una orden en el make (que no recuerdo como se llama), que revisa módulos cargados y en uso, y el resto lo saca ... pero tené en cuenta que al sacar soporte de otros dispositivos, si tu máquina falla y cambiás el hard, no vas a tener el driver !!

Saludos.