La línea:

Dim archivo As String = "C:\Users\Documents\WindowsApplication4\PDF"

...no apunta aun ficheor, si no a una carpeta...

En cambio en el código de la parte de abajo, haciendo uso de un control, OpenFileDialog, le indicas las extensiones para ficheros en la rutas que elijas o a la que saltes, es decir ahí si tomarás un fichero pdf... en el código primero, no.

Tienes que indicar un fichero existente, en la ruta...

Dim archivo As String = "C:\Users\Documents\WindowsApplication4\nombre de algún fichero existente.pdf"

Paraestar seguro puedes añadir a tu código la sigiente linea:

if io.fileexist(archivo) then
  ' lo que tienes puesto para cargar
else
   messagebox.show("La ruta no apunta aun fichero existente" & vbvrlf & archivo)
end if
 

Claro, poder se puede, pero los datos del archivo PDF se serializarían como elemento de cierto archivo XML, por lo que ya no tendrías un archivo físico como tal, sino los datos RAW, los bytes del archivo, vaya. Dicho de otra forma, tú lo puedes añadir como recurso embedido, pero de todos modos luego tendrías que crear el fichero local para leerlo, leyendo los bytes del recurso y escribiéndolos en un stream físico. Eso es así, siempre y cuando el control "AxAcroPDF" (que por lo que entiendo, es un control ActiveX de Adobe Acrobat PDF Reader) no tenga soporte para la lectura de un array de bytes, en cuyo caso podrías pasarle los bytes del recurso y listo, sin crear ningún archivo local intermediario.

Saludos.