Estoy tratando de mejorar la resolución de Debian 9 ya que solo tiene 800x600 y es la única opción que puedo elegir.
Trato con xrandr pero me dice:
xrandr:Failes to get size of gamma for output default: Screen 0
Alguien sabe como puedo solucionarlo?

A parte de lo dicho por _Slash_ no nos vendría mal saber qué tarjeta gráfica tienes y los drivers que estás utilizando.

Venga, si después de cuatro días todavía no sabes lo que tienes que hacer, te ayudamos un poco.

Busca en Google los drivers de Debian para gráficas AMD y cómo instalarlos desde los repositorios oficiales.