Cada vez que te conectas a una web o servidor se guarda tu ip, por ejemplo en este mismo foro ya tienen tu ip guardada. En principio normalmente no hay ningún problema en que conozcan tu ip ya que no se pública. En caso de que tu ip fuera publicada en alǵun lado pues podrían saber el país donde vives y si tu router esta bien configurado y no se puede acceder al panel de admin desde el exterior nada más a parte de quizás saber que programas usas (podrán saber que usas skype, algo p2p, spotify, cosas por el estilo).
En caso de que tu panel de admin fuera visible y no estuviera bien protegido pues podrían controlarte completamente a base de cambiar la configuración del router.

Saludos

Hola,
El panel de admin de tu ruter suele estar en 192.168.1.1 .Si no tienes el ruter bien configurado, pueden ver y editar (sabiendo la pss) el panel de adimin. He llegado a ver ruters con telnet activados por defecto  . Las pass de administrador suelen estar publicadas por internet solo sabiendo el modelo del ruter, y ademas el modelo se podría adivinar.
Saludos