Usar el GC de .Net de manera manual no es malo pero si es considerado de mala práctica, mejor asegurate de llamar a .Dispose del Bitmap antes de volver a cargarlo, me explico:

Esto no se debe hacer:

        Dim x As New Bitmap("C:\Ejemplo.png")
        Do While True
            x = Bitmap.FromFile("C:\Ejemplo.png")
        Loop

No tiene nada de malo el bucle infinito sino que nunca se destruye el objeto antes de volverlo a crear, una y otra vez se crea un objeto nuevo que a pesar de que lo estás creando en la misma variable, se está guardando en otra dirección en memoria y eso causa el error, en cambio así con el mismo bucle infinito, no pasa nada:

        Dim x As New Bitmap("C:\Ejemplo.png")
        Do While True
            x = Bitmap.FromFile("C:\Ejemplo.png")
            'Aqui se puede trabajar con el Bitmap'
            x.Dispose()
        Loop

Puedes observar el Uso de memoria en los 2 casos, en el primero sube hasta dar error y en el segundo caso sube hasta que se dispara el GC automáticamente y baja el consumo, porque ya ha sido marcado el objeto como Dispose.