Hola!
La propiedad sorted en los listbox sirve para ordenar alfabéticamente Strings, es decir, cadenas de texto.
Al ordenar como si fuera un texto lo que hace es buscar el carácter más bajo, y según ese ordena. Por ejemplo 13 lo pondría antes que 5 porque lo que mira primero es el primer carácter (primera letra) y como 1 es más pequeño que 5 pues coloca 13 antes que 5, sólo porque los trata como si fueran texto.
Si lo que quieres es ordenar números puedes basarte en este código:
Private Shared Sub SortIntegerListBox(ByVal listBox As ListBox)
Dim TempList As New List(Of Integer)
For Each LI In listBox.Items
TempList.Add(Integer.Parse(LI.ToString()))
Next
TempList.Sort()
listBox.DataSource = TempList
End Sub
Un ejemplo de cómo se podría usar el código:
Dim Items As New List(Of Integer)
Items.Add(1)
Items.Add(13)
Items.Add(2)
Me.ListBox1.DataSource = Items
SortIntegerListBox(Me.ListBox1)
Saludos!