En primer lugar, no hace falta (y tampoco tendrías que usar) conio.h. En segundo lugar, la función para obtener un carácter no es getche, sino getchar. En tercer lugar, hay un error de lógica en el programa en la siguiente línea:
if(pow(a,2)+pow(b,2) == pow(n,2))
Según el enunciado, la siguiente ecuación se tendría que verificar:
a^2 + b^2 = n
Pero tu estás escribiendo la ecuación
a^2 + b^2 = n^2
En tercer lugar, no reinicias el valor de 'b' en cada iteración:
while(a<n)
{
while(b<n)
{
b = a; // Reinicia 'b'
if(pow(a,2)+pow(b,2) == pow(n,2))
{
cont++;
cout<<a<<"^2"<<" + "<<b<<"^2"<<" = "<<n;
}
b++;
}
a++;
}