Claro, eso es lo que pensé, pero el problema es el tamaño del botón (aunque metiera un panel siguiría teniendo el mismo tamaño de botón que sin panel). Lo de del GridbagLayout si que es mejor idea aunque no se como manejarlo, me leeré el link que has dejado .
Por otro lado, también pensé en poner 2 paneles en el mismo frame y posicionarlos manualmente con sus respectivas dimensiones...
Un saludo