No se que configuracion tienes pero si desde tu portatil quieres conectarte a internet tu router debe estar encendido y conectado al cable telefonico mediante el conector RJ-45.

Es raro que tengas un router+modem, actualmente con un router ya hay suficiente ya que el router tiene la función de gateway+modem.

si seria RJ-11 (4) el del telefono, y RJ-45 (8) red.
Modem por un lado, Router por otro? como es eso? no sera Router-modem?

La funcion del router es dar internet independientemente de que maquina este prendida o no, en todo caso por ahi ta mal configurado, pero no se, me parece raro. si queres wifi, necesitas tener un router wifi. de otro modo no podes.

Saludos