¿Que es lo que no te convence entonces? Tu mismo has preguntado que si alguien se puede subir a tu casa a mover cables para joder. Técnicamente si, pero estamos hablando de cosas muy complicadas. ¿Puede alguien hacerte un MITM sobre tu linea DSL? Si (pero que no es nada sencillo y va a depender de tu ISP). ¿Puede alguien entrar a tu casa y poner un rPi a lado de tu router? También (que tanto checas tus puertos ethernet?). ¿Puede alguien meter mano a tu Wifi a distancia? Técnicamente sí, pero con una antena especial y obvio va a depender de la seguridad de tu WiFi...

A través de una IP hay muchas cosas que puedes hacer. Hace un par de años uno de los miembros del foro le hizo un comentario a alguien que estaba en contra de systemd y resulta ser que está persona sabía lo que estaba haciendo... y resulto ser que el ISP había dejado abierto al mundo entero una puerta para poder dar soporte a la red. De ahí, se logro meter a la red y luego le ha puesto que ha visto varias cosas en su red, como una rPi con password por default. En fin que es ese el problema cuando alguien se te cuela, siempre estás con la duda de donde más puede estar... ¿Y si se encontró otro dispositivo que no estaba asegurado?

Y no hubo necesidad de ir a la casa de nadie... ahora imagínate si alguien te deja un regalito en tu red.