En vez de usar números mágicos utiliza directamente los caracteres entre comillas simples.
Por otra parte, en vez de intentar ir a atrás insertando el carácter de control '\b' directamente atrasa una posición el puntero del archivo.

Con todo esto el código queda como sigue:

if (c==',') {
    fseek(archivo, -1, SEEK_CUR);
    fputc('.',archivo);
}

¿Cual se supone que es la diferencia despues de modificar el archivo?

Buenas, si he entendido bien lo que quieres es leer el contenido del archivo y sustituir su contenido por el mismo pero cambiando solo las comas por puntos.

Con el código de MAFUS debería bastar, porque el fputc() sobreescribe el valor que se encuentra en esa posición. Cada fgetc() mueve el puntero una posición adelante para continuar leyendo, cuando encuentras una ',' usas fseek(archivo, -1, SEEK_CUR) para que vuelva atrás y no pase al siguiente caracter y entonces con fputc('.',archivo), escribes '.' en la posición de la ',' por lo que quedaría sobreescrita.

Si es un fichero de texto entonces no lo abras como binario usa "rt" en vez de "r+".

Un saludo.

#include <stdio.h>
#include <stdlib.h>
 
void main (void) {
FILE *archivo;
int c;
 
archivo=fopen("varx.txt","rt");
c=fgetc(archivo);
while (c != EOF) {
	if (c==',') {
               fseek(archivo, -1, SEEK_CUR);
               fputc('.', archivo);
	}
	c=fgetc(archivo);
}
fclose(archivo);
}
 

Haz el favor, prueba el código que puse y dime si anda.

Postea el nuevo código, NO solo cambia el "r+" sino más cosas.

En caso de que no funcione dinos cual es el mensaje de error y si no le hay verifica que el archivo se abre correctamente.

Saludos.

Coloca fflush después de una operación de escritura si luego vas a hacer otra lectura. Además, es preferible que utilices r+, pues la 't' no siempre stá soportdada, y en este caso, realmente no va a cambiar nada.

#include <stdio.h>
#include <stdlib.h>
 
int main() {
	FILE *archivo;
	int c;
 
	archivo=fopen("asd.txt","r+");
	if (archivo == NULL){
		printf("\nError de apertura del archivo. \n\n");
	}
	else {		
		c=fgetc(archivo);
		while (c != EOF) {
			if (c==',') {
				fseek(archivo, -1, SEEK_CUR);
				fputc('.',archivo);
				fflush(archivo);
			}
			c=fgetc(archivo);
		}
	}
	fclose(archivo);
}