En una sentencia de retorno como esta:

return N;

"N" debe ser del tipo indicado en la declaración de la funcion (siguiendo tu ejemplo debe ser "signed int") y puede ser cualquier expresión.

Esto es una expresión:

numero >= '0' && numero <= '9'

La prioridad de los operadores es, utilizando paréntesis:

(numero >= '0') && (numero <= '9')

1) Primero se aplican los operadores ">=" y "<=", el resultado de estos es 1 o 0 (Verdadero o Falso).

2) Despues se aplica el operador "&&" en el caso de '5' tenemos:

(1) && (1)

El operador "&&" resulta en 1 o 0 si se cumple con el operador lógico AND (Verdadero si ambos operandos son distintos de cero, Falso en caso contrario).

Para el tema de expresiones no hay nada mejor que un libro de calidad, si no tienes uno consiguelo (empieza revisando los temas fijos de este foro para recomendaciones).

Un saludo