Para detectar las URL maliciosas utiliza la API de
Google Safe Browsing, así es como comprueban si el sitio/dominio contiene spam, malware o phising.
Supongo que lo de los archivos descargados funciona igual, sólo que ésta vez comprueba el hash MD5 del fichero descargado contra una base de datos de ficheros maliciosos con sus
respectivos hash y si coincide, es que se trata de un fichero malicioso.
De todas formas, Firefox es opensource y si alguno se atreve, puede mirar el código fuente para ver como funciona realmente.