elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.


 


Tema destacado: Java [Guía] Patrones de diseño - Parte 1


+  Foro de elhacker.net
|-+  Programación
| |-+  Desarrollo Web
| | |-+  PHP (Moderador: #!drvy)
| | | |-+  Web scraping PHP
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: Web scraping PHP  (Leído 551 veces)
apachay

Desconectado Desconectado

Mensajes: 3


Ver Perfil
Web scraping PHP
« en: 30 Agosto 2020, 20:52 »

como hago para mostrar el codigo fuente "web scraping" a una web que tiene proteccion cloud flare esto que lo que me arroja:

Código
  1. <!DOCTYPE html>
  2. <html dir="ltr" lang="es">
  3. <meta charset="utf-8" />
  4. <meta name="generator" content="AntiBot.Cloud v. 7.010" />
  5. <meta name="referrer" content="unsafe-url" />
  6. <meta name="robots" content="noarchive" />
  7. <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no" />
  8. <link rel="icon" href="/favicon.ico">
  9. <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.4.1/css/bootstrap.min.css" integrity="sha384-Vkoo8x4CGsO3+Hhxv8T/Q5PaXtkKtu6ug5TOeNV6gBiFeWPGFN9MuhOf23Q9Ifjh" crossorigin="anonymous">
  10. <title>Espere.</title>
  11. html, body {text-align:center; margin: 10px;}
  12. body {margin-top: 10%;}
  13. </head>
  14. <noscript><h1 style="color:#bd2426;">Active javascript y vuelva a cargar la página.</h1></noscript>
  15. <div class="text-center">
  16. <div class="spinner-border" role="status">
  17. <span class="sr-only">Loading...</span>
  18. </div>
  19. </div>
  20. <br />
  21. <h2>Verificando su navegador antes de acceder al sitio.</h2>
  22. <p>Este proceso es automático. Su navegador redirigirá a su contenido solicitado en breve.</p>
  23. <p id="btn">Por favor espere unos segundos.</p>
  24. <p id="error" style="color:red;"></p>
  25. <div class="footer">
  26. <p><small><a href="https://antibot.cloud/#digitask.ru" title="Detect & Block Bad Bot Traffic" target="_blank">Protected by AntiBot.Cloud</a></small></p>
  27. </div>
  28. <script>userip = "201.240.25.137";</script>
  29.  
  30. <script src="https://www.google.com/recaptcha/api.js?render=6LdOLMAUAAAAADWpsyq-fXIrXnG8eTU0judcHJiF"></script> <script>
  31. if (window.location.hostname !== window.atob("ZGlnaXRhc2sucnU=")) {
  32. window.location = window.atob("aHR0cDovL2RpZ2l0YXNrLnJ1L25vdGltZXJfZnAvZmF1Y2V0LnBocD9hZGRyZXNzPURHajJGaktuY2VYVzY5Q3dTQllHcnZyM05Ra2dmamlWNDMmY2FwY29kZT01ZWFhOGY0NDU1YzViNDQ3YjljZjZlNmMxMGZjODZiMiU3Qzc5YjRkMzc4NTFiYzkwY2VkNmYyN2M0YzI4ZTMwYzhlJTdDaHR0cCUzQSUyRiUyRmJhY2sxMC5rZXljYXB0Y2hhLmNvbSUyRnN3ZnMlMkZja2MlMkYzNTZmMzQxYmE5MjZhZDE1ZTMyODMxYmNlYTExM2ZmMi0lN0M1ZjRhYWFkY2I5NGI2LTQuMC4wLjAwMSU3QzEmd2FsbGV0PSZjdXJyZW5jeT1ET0dFJmtleT01N2ZlMTJkYjY1MjljZTQ1M2I3YmU1YjNmMTQ4YTc5Mw==");
  33. throw "stop";
  34. }
  35. setTimeout(Button, 5000);
  36. //var action = 'PE';
  37. var action = 'digitaskru';
  38. var h1 = 'd7caec816ae72aec0a29ee14a052e891';
  39. var h2 = '8d94fc0f1235f460baf3c220edc9405b';
  40. var ip = '201.240.25';
  41. var via = '';
  42. var v = '7.010';
  43. var re = '1';
  44. var ho = '0';
  45. var cid = '1598813074.5001';
  46. var ptr = 'client-201.240.25.137.speedy.net.pe';
  47. var width = screen.width;
  48. var height = screen.height;
  49. var cwidth = document.documentElement.clientWidth;
  50. var cheight = document.documentElement.clientHeight;
  51. var colordepth = screen.colorDepth;
  52. var pixeldepth = screen.pixelDepth;
  53. var phpreferrer = '';
  54. var referrer = document.referrer;
  55. if (referrer != '') {var referrer = document.referrer.split('/')[2].split(':')[0];}

Este es mi codigo:

Código
  1. <?php
  2.  
  3.  
  4. function url($url){
  5. //$headers = array();
  6.  
  7. $agent = "user-agent: Mozilla/5.0 (Linux; Android 8.0.0; SAMSUNG SM-G935F) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/11.1 Chrome/75.0.3770.143 Mobile Safari/537.36"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_REFERER, 'https://digitask.ru/notimer_fp/faucet.php?address=DGj2FjKnceXW69CwSBYGrvr3NQkgfjiV43&capcode=5eaa8f4455c5b447b9cf6e6c10fc86b2%7C79b4d37851bc90ced6f27c4c28e30c8e%7Chttp%3A%2F%2Fback10.keycaptcha.com%2Fswfs%2Fckc%2F356f341ba926ad15e32831bcea113ff2-%7C5f4aaadcb94b6-4.0.0.001%7C1&wallet=&currency=DOGE&key=57fe12db6529ce453b7be5b3f148a793');
  8. curl_setopt($ch, CURLOPT_AUTOREFERER, true);
  9. curl_setopt($ch, CURLOPT_POST, true);
  10.  
  11. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookie);
  12. curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true);
  13. curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0');
  14. //curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
  15. curl_setopt($ch, CURLOPT_HTTPHEADER, array('HeaderName: HeaderValue', $agent, 'accept-language:
  16. es-PE,es-419;q=0.9,es;q=0.8,en;q=0.7')); $result = curl_exec($ch); return $result;
  17. }
  18. $result = url("https://digitask.ru/notimer_fp/faucet.php?address=DGj2FjKnceXW69CwSBYGrvr3NQkgfjiV43&c
  19. apcode=5eaa8f4455c5b447b9cf6e6c10fc86b2%7C79b4d37851bc90ced6f27c4c28e30c8e%7Chttp%3A%2F%2Fback10.keycaptcha.com%2Fswfs%2Fckc%2F356f341ba926ad15e32831bcea113ff2-%7C5f4aaadcb94b6-4.0.0.001%7C1&wallet=&currency=DOGE&key=57fe12db6529ce453b7be5b3f148a793");
  20. echo "$result\n";


Ya alguien le iso web scraping no se por que me esta faltando

MOD: Etiquetas GeSHi agregadas. Mayusculas a minusculas. Post repetidos borrados (lee las reglas).


« Última modificación: 30 Agosto 2020, 20:56 por MCKSys Argentina » En línea

el-brujo
ehn
***
Desconectado Desconectado

Mensajes: 19.631


La libertad no se suplica, se conquista


Ver Perfil WWW
Re: Web scraping PHP
« Respuesta #1 en: 4 Septiembre 2020, 10:37 »

El código está bien, pero si tiene protección standard de CloudFLare, under attack, (JS Challenge) 5 segundos javascript pues tendrás que buscar un" bypass" o método para saltarlo o te mostrará siempre el código de CloudFlare. En Github hay varios bypass, scape y algunos funcionan correctamente.


En línea

Since 2001, still kicking hard
apachay

Desconectado Desconectado

Mensajes: 3


Ver Perfil
Re: Web scraping PHP
« Respuesta #2 en: 12 Septiembre 2020, 16:08 »

gracias por tu respuesta ahora mismo estoy en busca de ese bypass en github... cualquier novedad estare avisando por aqui gracias.
En línea

el-brujo
ehn
***
Desconectado Desconectado

Mensajes: 19.631


La libertad no se suplica, se conquista


Ver Perfil WWW
Re: Web scraping PHP
« Respuesta #3 en: 15 Septiembre 2020, 18:37 »

cloudflare-scrape
https://github.com/Anorov/cloudflare-scrape

El primero funciona seguro, porque lo usaron en un ataque al foro xD

Pero hay varios más:
https://github.com/VeNoMouS/cloudscraper

La protección se llama normalmente UMA (Under Mode Attack)
En línea

Since 2001, still kicking hard
Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
AYUDA CON SCRAPING
PHP
hchabot 1 899 Último mensaje 10 Mayo 2016, 15:32
por gm-vl
Scraping, nuevo en el tema
Desarrollo Web
Handtuch 3 1,149 Último mensaje 20 Agosto 2016, 09:07
por gm-vl
[Consulta] WebService/Scraping
Desarrollo Web
70nv 3 1,197 Último mensaje 7 Septiembre 2016, 16:48
por Jeferi
web scraping python
Scripting
Bichosito 2 643 Último mensaje 3 Marzo 2017, 05:18
por Bichosito
Web scraping (formulario)
Desarrollo Web
Filibustero de bolsillo 1 258 Último mensaje 22 Septiembre 2019, 09:46
por Agente Naranja
Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines