No se a que te refieres con generar las preguntas aleatoriamente pero Math.random te ayudará.
Por otra parte, si lo que quieres es que al pulsar el botón te aparezca la ventana de preguntas, debes ponerte un evento al botón y en el método llamado crear un Intent y lanzar el nuevo activity.
Como poner un evento al boton:En XML con las propiedades de tu activity, hay una propiedad que se llama onClick.
Añade una propiedad a tu boton que sea la siguiente
android:onClick="eventButton"
en eventButton pones el nombre que quieras para tu método
El método que se llama debe de estar en la clase de Java que haya ejecutado el intent y debe ser público y tener como parámetro un View:
public void eventButton(View v) {
// Lo que se ejecuta cuando el boton se pulsa
}
Y para mostrar la nueva pantalla, debes crear un Intent con la clase que ejecuta el nuevo Activity y mostrarlo
Intent intent = new Intent(this, OtroActivity.class);
startActivity(intent);