Usa las anotaciones que nos dan los Bean Validation Constraints, siendo tu ventana modal o otro layout cualquiera, necesitas siempre un bean.

* https://docs.oracle.com/javaee/7/tutorial/bean-validation001.htm

Mas info aqui con un formulario y usando thymeleaf

https://spring.io/guides/gs/validating-form-input/

solucion simple usa jquery validation

XD
las variables en aplicaciones web son mas complicadas que en aplicacion de escritorio

la forma por defecto de como funciona la inmensa mayoría de framewors web del lado del servidor las variables se pierden por cada request (petición )
es por eso que cuando validas no te va a funcionar el if de thymelift por que ya se resete las variables despues de hacer la peticion

si lo quieres hacer del lado del servidor no lo recomiendo tendrias que usar el alcanse flash
https://www.baeldung.com/spring-web-flash-attributes