Usa el método
isSelected() del RadioButton para saber si está o no seleccionado. Y el método
setEnabled() para habilitar/deshabilitar el JButton. Por ejemplo, coloca el siguiento código en el evento clicked del JRadioButton:
if (jRadioButton1.isSelected()) {
jButton1.setEnabled(true);
} else {
jButton1.setEnabled(false);
}
Saludos!