Lo mejor es usar un txt comun y corriente o un "punto ini" (que son archivos de configuracion de inicio) al cual le asignas valores con determinados parametros, es decir podes ponerle:



Y en  el form load cargas siempre la configuracion de tu aplicacion desde ese archivo, podes mantener cambios y valores ya que no se ejecutan directamente, sino que dependen de los datos del archivo.

Saludos.

Creo que sí la forma correcta de hacerlo sería esa:

Si el archivo existe cargas la configuración.
Si no existe se usa la configuración por defecto.

Y como te indican, puedes hacerlo de la manera en que tú quieras. Como dice Ivancea "Tu programa, tus normas".

EDITADO: Jajajajajajaja por la respuesta de abajo. XD

Microsoft recomienda encarecidamente que los desarrolladores de aplicación .NET guardemos la configuración de usuario en el registro de Windows (antes que usar My.Settings).

Y si te fijas un poco en como trabajan las aplicaciones más profesionales (Ej: Photoshop), estas almacenan todo tipo de información tanto en el registro como en archivos locales, está todo bastante disperso.

Pero en mi opinión lo más correcto depende de tus necesidades...
...Por ejemplo, si yo desarrollo una aplicación y la quiero hacer portable con opciones configurables para el enduser, y que al portabilizar mi aplicación (copiar y pegar de un PC a otro) se mantenga esa configuración de usuario, pues obviamente no podré usar ni el registro, ni un archivo local que se almacene en otra ubicación como (Ej: APPDATA\Roaming\...) ni nada por el estilo ...porque eso lo complicaría un poquito para hacerlo persistente de un PC a otro, así que lo más correcto en mi opinión en un caso así es usar un archivo de inicialización (.ini) o en resumen un archivo de texto plano como un TXT o un XML que esté en el directorio de trabajo de la aplicación, aunque la estructura de un XML para manejar un par de opciones es complicarse la vida sinceramente...

Pero para un programa normal y corriente que se instala en un PC y que se suele mantener instalado hasta una reinstalación/actualización del SO, pues en ese caso yo me acomodaría a la interface que Microsoft provee y de muy facil acceso y manejo para crear un archivo de configuración gracias a My.Settings.

Saludos