No sé exactamente a que se debe el problema, al parecer parece que solo estás direccionando la salida de nmap a un doc de texto
nmap opciones > output.txt
si es así, estás equivocado, debes especificar un argumento (no recuerdo) que hace que la salida sea en xml lo cual es entendible por metasploit.
De caso alterno puedes lanzar directamente nmap desde metasploit con el comando db_nmap opciones nmap luego podrás consultar y establecer (SET HOST) dependiendo de los resultados
http://www.offensive-security.com/metasploit-unleashed/Port_ScanningRecuerda que debes tener conectada la BD
service metasploit start
service postgreesql start
para verificar que la conexión fue con éxito, ejecuta el comando:
db_status
dentro de metasploit