Ponle al panel un layout adecuado. Quizás el GridBagLayout
http://www.chuidiang.com/java/layout/GridBagLayout/GridBagLayout.phpSi no te importa usar componentes de mas para hacer algo más sencillo, al JPanel ponel un BorderLayout. En la parte BorderLayout.SOUTH ponle otro JPanel que sería elque tiene el botón. Este segundo JPanel bastaría con que tenga un FlowLayout contrudio con FlowLayout.TRAILING. Algo así
JPanel panel1 = new JPanel(new BorderLayout());
JPanel panel2 = new JPanel(new FlowLayout(FlowLayout.TRAILING));
panel2.add(new JButton("el boton");
panel1.add(panel2, BorderLayout.SOUT);
ACTUALIZADO: Me ha parecido interesante el ejemplo y he hecho esto
http://chuwiki.chuidiang.org/index.php?title=Boton_en_la_parte_inferior_derechaSe bueno.