así como lo describís, suena a que tu IP WAN no es estática, sino dinámica

asumiendo que vos estés seguro de que el ejecutable está bien configurado, pueden ser varias cosas:

1) que el windows defender, u otro AV, te haya puesto el ejecutable en cuarentena (muy probable)
2) que las reglas del firewall -si lo hubiera- le impidan al ejecutable conectarse a gmail (poco probable)

también puede ser que no haya nada que enviar, verdad? beelogger manda logs cada 120seg, excepto cuando no ha ocurrido nada logueable.

.. con un firewall.

1) ¿por qué me dice que es una aplicación Win32 no válida?
porque la cabecera PE del .exe es inválida o está dañada. la cabecera PE es la sección inicial del ejecutable, que comienza con el identificador 'MZ' y continúa describiendo las secciones de tu server.exe -esto es, código, datos, variables globales, etc.-, para que el cargador de windows lo pueda localizar en la memoria ram y otorgarle el control al procesador.

TL;DR: porque server.exe está roto por dentro.

2) tengo dudas de cómo programar el servidor
somos dos.

¿cómo podría hacer para que al abrir el server se conecte al cliente?
con el control Winsock.