Mira este ejemplo que hize asi al voleo
Private Declare Function FindWindow Lib "user32" Alias "FindWindowA" _
(ByVal lpClassName As String, _
ByVal lpWindowName As String) As Long
Sub Form_Load()
' La clase del Block de notas es Notepad, para saber la clase de un programa
' usa el programa Spy++ que viene con visual studio (hay otros tmb...)
If FindWindows(vbNullString, "notepad") > 0 Then
Msgbox "El block de notas esta abierto"
else
Msgbox "El block de notas esta cerrado"
End If
End Sub
Ahora si el nombre de la ventana es variable y no tiene nombre de clase, creo que podrias obtener si se esta ejecutando mediante los procesos activos (la api creo que es EnumProcess)