Así es, parcialmente la idea es esa, pero en la realidad no hay suficientes núcleos para cubrir cada hilo de cada proceso por lo que estos se alternan, pero sí la idea es esa. Lo que es más en el sistema operativo windows hay una parte del registro que te dice cuántos núcleos posee tu procesador y de esta forma puedas lanzar un número dinámico de threads dependiendo de la situación.

Otra cosa a tener en cuenta es que los procesadores de intel con hyper-threading poseen la habilidad de manejar dos hilos por núcleo. Es decir que uno de estos procesadores con 4 núcleos tiene la capacidad de ejecutar 8 hilos simultaneamente casi con el mismo rendimiento que un procesador de 8 núcleos físicos.