es que el visual studio guarda ahi automaticamente esas configuraciones.

aca te muestra bien el formato que se usa:

Using My.Settings in Visual Basic

esa cadena larga no es un guid sino un hash (SHA1), o sea esto lo hace el visual studio y vos no podes hacer nada para evitarlo.

igualmente es posible obtener ese path de esta forma, debes agregar la referencia a System.Configuration

Imports System.Configuration
 
Public Class Form1
    Private Sub Form1_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles MyBase.Load
        MessageBox.Show(ConfigurationManager.OpenExeConfiguration(ConfigurationUserLevel.PerUserRoaming).FilePath)
    End Sub
End Class

igualmente yo hablaba de que vos crees ahi una carpeta, con el nombre que quieras para guardar tus cosas, de esa forma siempre podes saber el path.

saludos.

yo lo uso en la 3.5, arriba puse debes agregar la referencia a System.Configuration