¿Que modos usas para escribir los archivos?

Tienes el Stream/StreamWriter y la clase System.IO.File que lleva la función AppendAllText que puede escribir en un archivo sin borrar lo que estaba antes escrito. Solo agrega nueva información.

Está bien tienes System.IO.File.AppendAllText que es una función que agrega texto a un archivo:

        File.AppendAllText("C:\archivo.txt", "Hola")
 

Con Stream sería así:

        Dim X As StreamWriter = File.AppendText("C:\x.txt")
        X.WriteLine("Hola")
        X.Close()
 

La diferencia entre usar Stream y usar las funciones de System.IO.File es que las funciones en IO.File colapsan con grandes cantidades de información ya que si te toca abrir un archivo de 88Gb por ejemplo la función cargará el contenido del archivo en tu memoria y agregará la nueva información y luego guardará el archivo el problema es que no tienes 88Gb de memoria disponible y pués obtendrás el bonito error de memoria insuficiente a demás de que la PC se quedará un rato colgada mientras carga la información para darse cuenta que al final no puede con tanto. Mientras que Stream usa Búffers y solo carga en memoria la información que necesita en el momento así que puedes abrir archivos de cualquier tamaño sin riesgos.