Hola, lo primero es desactivar el WPS......

Limitate a filtrar por MAC a los intrusos.

Cambia la contraseña.


Salu2.

en cuanto a seguridad ya lo comentaron muy bien y se añadiria que dejes las venganzas esas no son eticas, vale tomar mac address e ips por cualquier cosa y revisar el codigo penal para denunciar, en la la instancia correcta por que tu no sabes si desde ahi alguno de estos que "se conectaba de a gratis" usaba tu internet para cometer ilicitos(porno infantil, robo de identidades, hacking, proxeo, etc, etc) asi que.... a tomar muy en cuenta que tus contraseñas y de todas las demas personas que utilizaron esa red wifi ya sean familiares o amigos, etc podrian tambien haber sido victimas, nada peor que sepan tus passwords o tengan acceso a tu cuenta de banco e incluso tengan acceso a tu computadora y accesen a ella en cualquier parte del mundo o la vendan como parte de un ejercito zombie para ataques DOS masivos.... en vez de enfocarte a tu que hago que no sea tan feo pero que escarmienten, mejor haz lo correcto y sigue tu vida sin olvidar que esto pasa dia a dia con bugs, vulnerabilidades y demas casos que se descubren dia a dia y es inevitable que pase... asi que hay que mantenerse informados aunquesea un poco de vez en cuando ya que la seguridad informatica compete a todos los usuarios de esta... Welcome... To The Real World!!!-> NE0! 

Si pudieron con una wpa,yo creo que saben que alguien que ponga wpa en su red tiene conocimientos,por lo que tendran desconfianza,asi que fijaran sus tablas arp para evitar arp spoofing o usan una VPN o protocolos https.Si pasa eso,no podras sacarles nada ni con el mejor sniffer.
Mejor cambia la clave a 128 bits con alfanumericos y desactiva el wps
puede ser un pedofilo,un delincuente cibernetico,secuestrador,etc.no sabes con quien tratas.Y de paso vete cambiando las claves de todas tus redes sociales y cuentas personales y proponselo a los que se hayan conectado a tu red.
saludos