1er post y en lo posible todas las respuestas y páginas.

El admin me dijo:
Estoy ya bastante liado con mis cosas como para meterme en esas, no tengo idea de cómo se hace. Son unos 3000 temas, hacerlo a mano no parece buena idea.

Hola, siempre que se quiera hacer un script como esos hay que tener en cuenta varías cosas como por ejemplo, que pasaría con:

1. Las imágenes y los videos que has colocado en los posts.
2. Las citas de otros usuarios.
3. Los textos que has copiado de otros sitios.

Que pasará con eso? porque se va a copiar igual ya que todos tus posts son en texto plano y son parte de tus propios mensajes, además algo a tener muy cuenta es también como se va a copiar, por ejemplo habrán muchas etiquetas HTML, en eso también tenes que pensar que harás con ellas? eliminarlas para que no salgan en tus mensajes cuando hagas el scraper/raspaje?.

Lo primero a analizar para empezar es el código HTML para ver como se muestra exactamente y que es lo que vas a guardar finalmente porque todo ese proceso se tiene que hacer antes de guardar, es decir enviar los parámetros de las peticiones, recibir el HTML, procesar los datos y por último guardarlos.

Algo muy útil que podes usar para estos casos porque te hará todo mucho más fácil y rápido es usar el modo móvil del foro, mira aquí:

https://foro.elhacker.net/foro_libre/iquestcomo_copio_rapido_los_temas_que_hice_en_un_foro-t520972.0.html;wap2

si te fijas el código HTML es mucho menor.
También podes usar XML.


Saludos

Yo te hago un book maker para los comens de Quora, si quieres.

De hecho, se lo propuse antaño a varios usuarios, pero no quisieron.

Pero sí, con... creo que el mejor para esto es puppeeter o como se escriba.

Alguna web se me ha resistido, pero yo también mejoré la técnica. Y la mejor fue renderizar el contenido en un navegador, y scrapear desde ahí. Por eso puppeteer es la mejor opción en casos complejos, curl para los más simples. Como quieras, yo te lo puedo intentar hacer.