Imagina que tienes un usuario en el foro y que cuando quieres borrar a ese usuario, tambien quieres eliminar todo lo que este haya puesto (post, mensajes, etc..)

Con la foreign key puedes decirle a la  tabla de comentarios que el user_id es un FK de la tabla usuarios, etc... de manera que si vieras un esquema E/R verias una linea de una tabla a la otra.
Pero ademas al definir una FK tambien puedes indicar que accion se toma cuando el dato es cambiado o borrado.

Si seleccionamos ON DELETE -> CASCADE lo que hara es que al borrar al usuario de la tabla de usuarios automáticamente se borran los registros de la tabla que tiene como FK al usuario, y se borran los de ese usuario.

De esta forma te aseguras que cuando eliminas algo, se elimina en todos lados, en vez de tener que tu ir por codigo y lanzar varias query de delete a varias tablas (todas las que quisieras borrar).

No es obligatorio borrar, tambien puedes poner a null o no hacer nada, si no recuerdo mal

Básicamente como puedes ver en el post que te pongo debajo, sirve para restringir los posibles datos en ese campo y lo que te he dicho.

No sirve para consultas como tal.

https://firebird21.wordpress.com/2013/05/26/entendiendo-a-las-foreign-keys/