Utiliza un GridBagLayout, por la red había un tutorial rodando que hice para hacer un GridBagLayout.

Acá lo encontré: http://argeniverso.66ghz.com/java/el-administrador-gridbaglayout/ no tiene las imágenes, porque se jodio el photobucket, pero, con el texto lo entiendes.

Saludos.

PD: Con otros layouts puedes lograr el mismo efecto o incluso mezclandolos, pero, en mi opinión ese es el que da más control y con el que quedan más bonitos.