Si recien empiezas creo que lo mas apropiado podria ser creando un archivo txt el cual te sirva para llenar datos y al iniciar la aplicacion te sirva para llenar uno o mas textbox solo copia este pequeño code:
Para el Button1 que hace referencia solo al contenido escrito en textbox2
Dim a As String
a = TextBox2.Text & vbCrLf
If TextBox2.Text = "" Then
My.Computer.FileSystem.DeleteFile("C:\1.txt")
Else
My.Computer.FileSystem.WriteAllText("C:\1.txt", _
a, True)
End If
y para el form load lo siguiente:
On Error Resume Next
TextBox2.Text = My.Computer.FileSystem.ReadAllText("C:\1.txt")
End Sub
Puedes crear otro boton para borrar todo el contenido del archivo o en si eliminarlo y luego crear uno nuevo para llenarlo con otros datos, yo lo hice en uno solo para probar es ocpional, depende de voz como lo quieras hacer y que mas quieres que haga el programita
Este es un ejemplo sencillo porque si necesitaras llenar muchos datos mejor recomendable hacerlo con SQL SERVER 2005 o superior, en otro caso tan solo con Acces creando un archivo para llenar tu base de datos .