¿A que te refieres con "flotar"? ¿Quieres que el JDialog este al lado de JFrame y no sobrepuesto?

Pues obtiene las coordenadas del JFrame y sumale el tamaño del mismo para donde lo quieras poner.

Obtengo las coordenadas y le sumo el tamaño de ancho del JFrame:

dialog.setBounds(frame.getX()+frame.getWidth(), frame.getY(), 200, 200);

Pues con ese linea, harás que tu JDialog se vea al lado del JFrame.

Saludos!

Eso te pasa por que tienes que indicar la ventana padre del JDialog y hacerla modal.

Algo así:

Suponiendo que la clase en donde instancias un JDialog es heredada por un JFrame

JDialog dialog = new JDialog(this, true);
 

El primer parámetro indicamos la ventana padre, que sera la misma clase, por que es una ventana JFrame, y el segundo que sera modal, osea que no se podrá acceder a la ventana padre cuando esta activa la ventana hija, que es el JDialog.