Comproba los parametros (especialmente que la cadena en eax sea correcta) y llama a GetLastError para averiguar la causa por la cual no abre el archivo.
Ese es un emulador de un procesador arcaico, no necesitas incluir ese archivo, si usas la API de Windows tendras que incluir los archivos que vienen con MASM32 - los vas a ir viendo en los tutoriales de Iczelion - o escribirlos vos mismo (solo tiene sentido para aprender), las interrupciones de la BIOS y MS-DOS no estan disponibles en 32/64 bits donde tenes que usar la API de Windows, incluso para la consola. invoke es una directiva util que enmascara los push y el call, siempre podes usar estas instrucciones manualmente.