A ver si entiendo tu problema, tu problema es que te pueden meter como parámetros cosas que no sean números y quieres saltártelos ¿no?

Tienes una función de las strings llamada isdigit() que devuelve true o false en caso de que sea o no un numero, simplemente comprueba el argumento que te están pasando y hasta que no sea un numero (osea que la función isdifit te diga true) lee el siguiente parámetro.

a ver, si quieres que el contador sea igual an anterior. Simplemente no lo cambies y asi no pierdes el tiempo con instrucciones inutiles.
La idea del programa es mostrar un triangulo de X en pantalla. ¿Para que utilizas una matriz?
Usas cosas un tanto, complicadas viendo que lo que estas haciendo es empezar en el tema de programacion.
Simplifica tu problema, porque lo estas enfocando realmente mal.
1 necesitas un contador que cuente la altura que tendra tu triangulo, se llama altura y empezará en un tamaño dado por el usario y terminara en 0.
pinta una X por cada valor de la altura cada una en una linea diferente.

2 ahora planteate el problema de ¿que tengo que hacer en cada altura? Que será dibujar el ancho, empieza en lugar de dibujar un triangulo dibujando un cuadrado. Con lo que el problema se reduce a dibujar X seguidas en la misma linea. un numero ancho de veces.

3 Una vez que tienes eso modifica el programa para que en cada altura quites uno a la anchura que dibujas generando asi un triangulo.

Si lo tienes que meter en una matriz por exigencias del ejercicio, genera una matriz al principio y haz el mismo proceso que pintando en pantalla, usando los mismos indices de altura y anchura pero salvando el la X tambien en la matriz.

Comparto con animanegra que el planteo de solución está muy mal:
1)igual modifique lo básico del código para que muestre lo que quieres, usando la lógica antes expuesta
2)la solución al planteo del triángulo para mí, también está mal, pero usaré tu mismo código
3) supongo que si solo importa el resultado antes descripto ya con esto funciona.

#-*- coding: utf -8 -*-
filas=int(input("Cantidad de filas: "))
primero=int(input("Número inicial:"))
 
matriz= [[0]*filas for a in range(filas)] 
numero_columna_inicial=filas//2-1
numero_columna_final=filas//2+1
 
for d in matriz:
    matriz[filas//2][filas//2]="x"
 
descontar= 1
for q in range (filas//2+1,filas,1):
    for w in range (numero_columna_inicial,numero_columna_final+1,1):
        matriz[q][w]="x"
        descontar+=1 
    numero_columna_inicial=numero_columna_inicial-1
    numero_columna_final=numero_columna_final+1
 
for f in range(filas):
    for c in range(filas):
        if matriz[f][c] == 0 :
            matriz[f][c]= primero 
            primero+=1 
 
for a in matriz:
    print(a)
 

Por supuesto no es absoluto! python da muchas formas de resolución, aunque traté de mantenerme en el código, algunas cosas las salté por obvias e innecesarias
Saludos