Hombre es que cuando no usas hilos tienes doble problema, especialmente cuando estas programando con gráficos es importante usar hilos, el problema que tienes ahora con el EDT es un claro ejemplo de lo que te hablo, es que ya de por si el EDT es un hilo que se ejecuta por debajo sin que te des cuenta junto con otros hilos que se suelen ejecutar cuando dibujas, por ejemplo un circulo por pantalla.

En los juegos se suele programar el tiempo en el que se va a pintar algo por la pantalla( por ejemplo que un alíen aparezca sólo por 10 segundos) y si no usas hilos entonces la velocidad de ejecución dependerá de la computadora en donde se esté ejecutando el juego, vas a tener que calcular cuánto tiempo se tarda en ejecutar cada instrucción en tu computadora, probablemente puedas hacer lo que querías con ese método( nadie hace eso) pero, ¿y si ahora quieres ejecutar tu juego en otra computadora? entonces vas a tener que hacer nuevamente los cálculos para que tu juego se ejecute correctamente en una computadora con una velocidad de procesamiento diferente a la tuya, vamos que hacer esto para muchas computadoras es una completa locura. Por suerte, los Hilos entran al rescate.

Todos los programas que estas usando ahora mismo usan hilos, si no fuera así entonces sólo sería posible tener una aplicación abierta al mismo tiempo, vamos que, si quieres ser un buen programador debes familiarizarte con ello.