Para cerrar solo el JFrame en específico se tiene que cambiar el método que el Netbeans utiliza por defecto y que es: EXIT_ON_CLOSE y para solucionar el problema en cuestión debe cambiarse a DISPOSE, esto lo podemos encontrar en la parte derecha, donde dice paleta-Propiedades. OJO, para encontrar esa opción tiene que hacerse clic en el diseño de JFrame y ubicarse en propiedades.