La verdad es que da lo mismo que puerto uses, solo ten cuidado con usar un puerto que ya está siendo usado por otro programa.
Para aprender de sockets te recomiendo un libro buenisimo que se llama C# Network Programming de Richard Blum. Lo encuentras en emule.
Yo me lo estudie y es buenisimo. (Esta escrito en ingles)

Pero con respecto a tu pregunta, no hay diferencia entre usar un puerto u otro, mientras ninguno de ellos esté siendo usado.

Si te fijas muchos programas traen la opcion para que el usuario escoja el puerto. Nunca es bueno asumir que el puerto asignado arbitrariamente por ti, no lo usará otra aplicacion.

Desde el puerto 0 al 1023 son los puertos "bien conocidos", ya que los usan programas populares. Muchos de ellos vienen con windows originalmente.
Por esto deberias usar puertos del 1024 en adelante para evitar problemas, hasta el 65535.