Hola, tal vez podrías usar un rango o varios de IPs a agregar, ahí estarías agregando un montón de IPs, hay rangos por país, por ISP, por bloques.
Ahora, debes tener en cuenta que al hacer lo que deseas, podes dejar un bug vigente en tu PC... ya que vas a abrir un puerto por lo que va a tener una conexión no cifrada/segura, también no hay que olvidar que todo programa que salga de tus manos (que lo usen otras personas) puede ser inspeccionado por alguna persona mediante un Sniffer y ver a qué IP y puerto apunta, comprobar que no pasan los datos cifrados ni por SSL ni por algún sistema o tipo de cifrado.
Nos comentas que no te importa que los datos no estén cifrados, pero tú software tiene algo de seguridad programada?, nos comentas lo siguiente:
a veces pueden llegar a ser 50 - 100 clientes en el día
Qué pasaría si alguien te conecta en vez de 100, 20.000 IPS floodeando? enviando comandos o instrucciones a tu servidor? Tú servidor respondería las 20 mil peticiones en por ejemplo, unos segundos?, que pasa si por ejemplo te conectan muchas IPS sin que hagan nada? es decir que estén conectadas en stand by, te estarían usando tu ancho de banda y recursos...
Lo primero es lograr lo que deseas y después tenés que aplicarle algún sistema de seguridad o límite porque alguno te puede analizar el comportamiento de tu software e incluso decompilarlo y mirar el código fuente para saber que hace tú programa.
Todo servidor tiene que tener un sistema de seguridad por el simple hecho de aceptar conexiones entrantes/remotas y mucho más si no van cifradas, nunca podes saber si alguien puede conectarse con un script o un programa diseñado para atacarte por ese puerto y saturarte el sistema/servidor/servicio.
Además nos comentas que es para Windows....
Saludos