Aparte de lo que ya te han mencionado de pasarte a WPA/WPA2 podrías entrar en tu router (192.168.1.1 comúnmente) y habilitar tan sólo las direcciones MAC de los dispositivos que desees que se conecten, estas direcciones son únicas en cada tarjeta de red y sirven para identificarlas, son de este estilo: F0:E1:D2:C3:B4:A5
Lo malo de esto es que cada vez que alguien te pida que le des la contraseña del wifi vas a tener que añadirlo a tu lista de MACs aceptadas
En cuanto a lo de cambiar de WEP a WPA/WPA2 si no sabes cómo hacerlo échale un vistazo a esto
PD: Es cierto que hay gente que aprovecha redes débiles para cometer delitos, pero no te pongas nervioso ya que hay mucho lamer y probablemente solo sea una persona normal que ha buscado un tutorial para "hackear wifi" y se ha aprovechado de tu red WEP.