Hola quiero hacer lo siguiente:
Quiero hacer que en un textbox se pongan numeros random pero no los que quiera sino una secuencia que yo ponga ejemplo
: que se ponga el 1 luego el 20 luego en 50...
y que no se ponga cualquier otro numero solo los que yo diga


Tengo una forma que es usando varios timers, pero quisiera saber si hay otra forma mas optimizada

Aquí tienes otra forma de hacerlo...

Básicamente declaro un Array con los valores (la ordenación de los valores no importa) y se añaden desordenados a una pila. En cada tic del temporizador se comprueba si la pila está vacía, y si lo está entonces se vuelve a llenar con un una nueva desordenación de los valores. Dicho de otra forma, la secuencia se desordena una vez, se añaden los valores desordenados a una pila, y cuando la pila está vacía la secuencia se vuelve desordenar y se vuelve a llenar la pila con la nueva desordenación. No sé si esto es exactamente lo que quieres hacer, tampoco has dado suficientes detalles...

Public NotInheritable Class Form1 : Inherits Form
 
    Private ReadOnly rng As Random
 
    ' Aquí se define el Array con la secuencia de valores que más tarde serán desordenados...
    Private ReadOnly sequence As Integer() = {1, 2, 3, 4, 5, 6, 7, 8, 9}
    Private stack As Stack(Of Integer)
 
    Public Sub New()
        ' This call is required by the designer.
        MyClass.InitializeComponent()
 
        ' Add any initialization after the InitializeComponent() call.
        Me.rng = New Random(Seed:=Environment.TickCount)
        Me.stack = New Stack(Of Integer)
    End Sub
 
    Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load
        Me.Timer1.Interval = CInt(TimeSpan.FromSeconds(1).TotalMilliseconds)
        Me.Timer1.Enabled = True
        Me.Timer1.Start()
    End Sub
 
    Private Sub Timer1_Tick(ByVal sender As Object, ByVal e As EventArgs) Handles Timer1.Tick
        ' Si la pila está vacía, la llenamos con una nueva secuencia de valores desordenados.
        If (Me.stack.Count = 0) Then
            Me.FillStack(Me.stack, Me.sequence, shuffleValues:=True)
        End If
 
        ' Obtenemos el siguiente valor de la pila.
        Dim nextValue As Integer = Me.stack.Pop()
 
        ' Hacer aquí lo que sea que quieras hacer con el valor obtenido...
        Me.TextBox1.AppendText(CStr(nextValue))
    End Sub
 
    Private Sub FillStack(Of T)(ByRef refStack As Stack(Of T), ByVal values As IEnumerable(Of T), ByVal shuffleValues As Boolean)
        Dim newValues As IEnumerable(Of T) =
            If(shuffleValues, (From value As T In values Order By Me.rng.Next Select value), values)
 
        refStack.Clear()
        For Each value As T In newValues
            refStack.Push(value)
        Next value
    End Sub
 
End Class

La clase Random se basa en un algoritmo de pseudo-aleatoriedad, es más que suficiente para la gran mayoría de escenarios/aplicaciones no-científicas, pero si por lo que sea necesitas un algoritmo de aleatoriedad más sofisticado con mayor entropía, con una distribución de mayor singularidad sobre todos los posibles resultados, entonces usa la clase RNGCryptoServiceProvider.

Saludos.