Se que pasó mucho tiempo desde el ultimo post, pero quería hacer saber que tenía un problema similar con un página, y logré solucionarlo agregando un user-agent. Por ejemplo, yo he agregado:

Y con eso el servidor me responde correctamente. Espero que les sirva.