Eso es el foco del control, no conozco ninguna forma de quitarlo, pero podría sprobar el siguiente código:

Private Sub Form_Activate()
Form1.SetFocus
End Sub

O si quieres (menos elegante) crea un control de Texto y ocultado a los limites del formulario, luego haz:

Private Sub Form_Activate()
Form1.SetFocus
End Sub

El recuadro del botón debería desaparecer.

Revisa la propiedad Default.

Saludos!