Para abrir una ventana desde un boton, primero debes crear la nueva ventana, lo mejor seria desde otra clase y dentro de esa clase haces el constructor (dentro del constructor, construyes tu ventana) luego pones un actionlistener en el boton y dentro del metodo action llamas al constructor.
Seria un poquito mejor que pongas el codigo para asi entenderte mejor