si lo que quieres es detenerlo por completo pon un return 0; en vez de break;

No tienes porque calcular el promedio en cada iteración del bucle, en su lugar debes calcularlo después de este y la condición de salida "x != 9999" nunca se alcanza (si el valor introducido es 9999 el bucle termina antes con la sentencia "break;").

Ademas la variable "contador" no refleja el numero de valores introducidos: si el primero es el valor de salida 9999 su valor es uno (el inicial) cuando debería ser cero. Por ultimo la variable "promedio" no es necesaria ya que lo unico que haces con el promedio es imprimirlo.

Si realizamos los cambios (mas algunos otros menores) el programa termina asi:

#include <stdio.h>
 
int main(void)
{
   int contador = 0, suma = 0, x;
 
   while (1){
      printf("Dame un numero, introduce 9999 para salir: ");
      fflush(stdout);
      if (scanf("%d",&x) != 1 || x == 9999)
         break;
      else {
         suma += x;
         contador++;
      }
   }
 
   /* 
   ** Si el numero de valores (contador) es diferente de cero:
   **    Calcular el promedio e imprimirlo en la salida estandar
   */
 
   return 0;
}

Un saludo

si le pasas el entero correctamente la funcion scanf() te devuelve 1 asi que si scanf() no es 1 el bucle scaput XDDD
o sea esto:if (scanf("%d",&x) != 1 || x == 9999)

quiere decir: el bucle se rompe si scanf no es 1 o si x es igual a 9999 =D

prueba esto XDD

    int n1;
    int n = scanf ( "%d", &n1 );
   
    printf("%d", n);

si le pasar un int te va imprimir 1 pero si le intanteas pasar una letra te va devolver 0, magia del scanf XDD

saludos!!

Espléndido!!  Que pasada conocer estos detalles de estas funciones, supongo que más adelante conoceré el poder de printf y scanf más a fondo, pero me alegro de ver un ejemplo tan práctico para adelantar y afianzar mejor conocimientos.

Gracias vangodp por colocarme ese ejemplo y a leosansan por indagar cuando me corresponda una validación de enteros como comentas más amplia 

Saludos!!