elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Arreglado, de nuevo, el registro del warzone (wargame) de EHN


+  Foro de elhacker.net
|-+  Foros Generales
| |-+  Dudas Generales (Moderador: engel lex)
| | |-+  ¿Cómo copio rápido los temas que hice en un foro?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: ¿Cómo copio rápido los temas que hice en un foro?  (Leído 4,033 veces)
Tachikomaia


Conectado Conectado

Mensajes: 1.424


Hackentifiko!


Ver Perfil
¿Cómo copio rápido los temas que hice en un foro?
« en: 2 Febrero 2024, 19:09 pm »

1er post y en lo posible todas las respuestas y páginas.

El admin me dijo:
Citar
Lo más fácil es que tú mismo hagas un script con wget o curl.

Yo no sé cuándo tendré tiempo.

Teniendo los temas, puedes entrenar un LLM y preguntarle para que te responda como cualquier usuario del foro.
Estoy ya bastante liado con mis cosas como para meterme en esas, no tengo idea de cómo se hace. Son unos 3000 temas, hacerlo a mano no parece buena idea.


En línea

crazykenny


Desconectado Desconectado

Mensajes: 4.239



Ver Perfil WWW
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #1 en: 3 Febrero 2024, 00:05 am »

1er post y en lo posible todas las respuestas y páginas.

El admin me dijo: Estoy ya bastante liado con mis cosas como para meterme en esas, no tengo idea de cómo se hace. Son unos 3000 temas, hacerlo a mano no parece buena idea.

Hola, Tachikomaia.

Como respuesta inicial, quisiera comentar sobre la posibilidad de utilizar un bot para realizar web scraping para ver si te permite hacer (mas o menos) lo que comentas.

Y, bueno, se que no es demasiado, pero es una opcion que puedes revisar.

Muchas gracias por vuestra atencion, y, bueno, saludos.


En línea

A nivel personal, lo que me da mas miedo no son los planteamientos y acciones individuales, sino las realizadas en grupo, ya que estas ultimas pueden acabar con consecuencias especialmente nefastas para todos.
Se responsable, consecuente y da ejemplo.
https://informaticayotrostemas.blogspot.com/

Mi canal de Youtube:

https://www.youtube.com
Danielㅤ


Desconectado Desconectado

Mensajes: 1.844


🔵🔵🔵🔵🔵🔵🔵


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #2 en: 3 Febrero 2024, 00:17 am »

Hola, siempre que se quiera hacer un script como esos hay que tener en cuenta varías cosas como por ejemplo, que pasaría con:

1. Las imágenes y los videos que has colocado en los posts.
2. Las citas de otros usuarios.
3. Los textos que has copiado de otros sitios.

Que pasará con eso? porque se va a copiar igual ya que todos tus posts son en texto plano y son parte de tus propios mensajes, además algo a tener muy cuenta es también como se va a copiar, por ejemplo habrán muchas etiquetas HTML, en eso también tenes que pensar que harás con ellas? eliminarlas para que no salgan en tus mensajes cuando hagas el scraper/raspaje?.

Lo primero a analizar para empezar es el código HTML para ver como se muestra exactamente y que es lo que vas a guardar finalmente porque todo ese proceso se tiene que hacer antes de guardar, es decir enviar los parámetros de las peticiones, recibir el HTML, procesar los datos y por último guardarlos.

Algo muy útil que podes usar para estos casos porque te hará todo mucho más fácil y rápido es usar el modo móvil del foro, mira aquí:

https://foro.elhacker.net/foro_libre/iquestcomo_copio_rapido_los_temas_que_hice_en_un_foro-t520972.0.html;wap2

si te fijas el código HTML es mucho menor.
También podes usar XML.


Saludos
« Última modificación: 3 Febrero 2024, 00:31 am por Danielㅤ » En línea

Tachikomaia


Conectado Conectado

Mensajes: 1.424


Hackentifiko!


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #3 en: 3 Febrero 2024, 00:43 am »

Se debería guardar en formato página completa ¿no? Como cuando se da "Guardar como". Html me dice. El problema es que no quiero hacer eso 3000 veces con esperas de carga, de descarga, y a su vez los temas tienen muchas páginas.
De ese modo las citas y colores se guardan creo, los links también.

Las imágenes creo que también, si aún existen, porque muchas ya no.

Los videos no, sólo los links.

Lo digo según mi experiencia descargando páginas.
En línea

Parado_larga_duracion_ESP

Desconectado Desconectado

Mensajes: 49


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #4 en: 3 Febrero 2024, 08:50 am »

Yo te hago un book maker para los comens de Quora, si quieres.

De hecho, se lo propuse antaño a varios usuarios, pero no quisieron.

Pero sí, con... creo que el mejor para esto es puppeeter o como se escriba.
En línea

Tachikomaia


Conectado Conectado

Mensajes: 1.424


Hackentifiko!


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #5 en: 3 Febrero 2024, 12:10 pm »

No es para Quora.
En línea

Parado_larga_duracion_ESP

Desconectado Desconectado

Mensajes: 49


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #6 en: 3 Febrero 2024, 13:19 pm »

Alguna web se me ha resistido, pero yo también mejoré la técnica. Y la mejor fue renderizar el contenido en un navegador, y scrapear desde ahí. Por eso puppeteer es la mejor opción en casos complejos, curl para los más simples. Como quieras, yo te lo puedo intentar hacer.
En línea

Tachikomaia


Conectado Conectado

Mensajes: 1.424


Hackentifiko!


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #7 en: 22 Agosto 2024, 06:27 am »

En lo posible denme una respuesta más detallada porque el admin de ese foro sigue sin responder y lo que han dicho son como palabras muy técnicas de las que no tengo idea. Le pregunto a GPT a ver qué me dice.

¿cómo automatizo la descarga de temas que hice en un foro?

Citar
Automatizar la descarga de temas de un foro puede ser un proceso delicado, ya que generalmente implica interactuar con el sitio web, lo cual puede estar sujeto a restricciones legales y de uso impuestas por el propio sitio.

Si estás seguro de que la descarga automática de temas está permitida por los términos de uso del foro y deseas proceder, una forma común de automatizar este proceso es mediante la creación de un script en un lenguaje de programación como Python, que utilice una biblioteca como `requests` para interactuar con el sitio web y descargar el contenido deseado.

Aquí hay un ejemplo simple de cómo podrías crear un script en Python para descargar temas de un foro:

```python
import requests

# URL del tema que deseas descargar
url = 'URL_DEL_TEMA_A_DESCARGAR'

# Realizar una solicitud GET a la URL del tema
response = requests.get(url)

# Verificar si la solicitud fue exitosa
if response.status_code == 200:
    # Guardar el contenido del tema en un archivo local
    with open('nombre_del_archivo.html', 'wb') as file:
        file.write(response.content)
    print('Tema descargado exitosamente.')
else:
    print('Error al descargar el tema. Código de estado:', response.status_code)
```

Recuerda que es importante respetar los términos de uso de cualquier sitio web al automatizar la descarga de contenido. También es recomendable consultar la política del sitio web en cuestión y, si es posible, obtener permiso antes de automatizar cualquier descarga.

eso parece que sólo descarga 1 tema, quiero que se descarguen todos los que hice

Citar
Si deseas automatizar la descarga de múltiples temas que has creado en un foro, el enfoque puede variar dependiendo de cómo estén organizados y accesibles esos temas en el sitio web del foro. Aquí hay una aproximación general que podrías seguir para descargar múltiples temas:

1. **Identificar los enlaces de los temas creados**: Necesitarás encontrar una forma de obtener los enlaces de los temas que has creado en el foro. Puedes hacerlo manualmente inspeccionando el código fuente de la página o explorando la estructura de URL del foro.

2. **Crear un script que recorra los enlaces y los descargue**: Una vez que hayas recopilado los enlaces de los temas que deseas descargar, puedes modificar el script para recorrer estos enlaces y descargar el contenido de cada tema.

Aquí te dejo un ejemplo modificado del script en Python que descargará múltiples temas:

```python
import requests

# Lista de URLs de los temas a descargar (reemplaza con tus propios enlaces)
urls = ['URL_TEMA_1', 'URL_TEMA_2', 'URL_TEMA_3']

for url in urls:
    # Realizar una solicitud GET a la URL del tema
    response = requests.get(url)
   
    # Verificar si la solicitud fue exitosa
    if response.status_code == 200:
        # Guardar el contenido del tema en un archivo local
        with open('nombre_del_archivo.html', 'wb') as file:
            file.write(response.content)
        print('Tema descargado exitosamente:', url)
    else:
        print('Error al descargar el tema', url + '. Código de estado:', response.status_code)
```

En este script, deberás reemplazar `'URL_TEMA_1'`, `'URL_TEMA_2'`, etc., con los enlaces reales de los temas que deseas descargar. El script iterará sobre cada URL en la lista y descargará el contenido de cada tema en archivos separados.

Recuerda respetar los términos de uso del sitio web y asegúrate de tener permiso para descargar los temas antes de automatizar el proceso.

Los links aparecen al buscar los temas creados por mí, pero unos 20 por página, quizá aumentable. A su vez tienen muchas páginas. La idea es que el programa busque los temas él mismo, no darle todos los links, ya que copiarlos también sería un trabajo tedioso y el código sería larguísimo de tantos links.

Citar
Para automatizar la descarga de múltiples temas que has creado en un foro, cuando los enlaces están distribuidos en varias páginas y cada página muestra solo una cantidad limitada de temas, necesitarás un enfoque más avanzado. Aquí hay una estrategia general que puedes seguir:

1. **Automatizar la navegación por las páginas**: Utiliza técnicas de web scraping para identificar y navegar a través de las diferentes páginas que contienen los enlaces de los temas que has creado.

2. **Extraer los enlaces de los temas**: Mediante web scraping, extrae los enlaces de los temas de cada página y guárdalos en una lista.

3. **Descargar los temas**: Utiliza los enlaces obtenidos para descargar los contenidos de los temas.

Aquí te dejo un ejemplo básico utilizando la biblioteca `requests` y `BeautifulSoup` en Python para extraer los enlaces de los temas de un foro. Asegúrate de instalar `requests` y `beautifulsoup4` si aún no lo has hecho:

```bash
pip install requests
pip install beautifulsoup4
```

```python
import requests
from bs4 import BeautifulSoup

# URL base del foro donde se encuentran tus temas
base_url = 'URL_DEL_FORO'

# Realizar una solicitud GET a la página principal del foro
response = requests.get(base_url)

if response.status_code == 200:
    soup = BeautifulSoup(response.content, 'html.parser')
   
    # Encontrar y procesar los enlaces de los temas de cada página
    for page_number in range(1, NUMERO_TOTAL_DE_PAGINAS + 1):  # Reemplaza NUMERO_TOTAL_DE_PAGINAS con el total real de páginas
        page_url = base_url + f'?page={page_number}'  # Modifica según la estructura real de la URL
       
        page_response = requests.get(page_url)
        if page_response.status_code == 200:
            page_soup = BeautifulSoup(page_response.content, 'html.parser')
           
            # Encuentra y extrae los enlaces de los temas de esta página
            topic_links = page_soup.find_all('a', class_='clase_del_enlace')  # Modifica según la clase real del enlace
            for link in topic_links:
                topic_url = link['href']
               
                # Aquí puedes agregar la lógica para descargar el contenido de cada tema
                # Usando el código de descarga de temas del ejemplo anterior
               
        else:
            print(f'Error al obtener la página {page_number}. Código de estado:', page_response.status_code)
else:
    print('Error al acceder al foro. Código de estado:', response.status_code)
```

En este ejemplo, reemplaza `URL_DEL_FORO`, `clase_del_enlace` y `NUMERO_TOTAL_DE_PAGINAS` con los valores reales de tu foro. Adapta el código según la estructura y clases HTML específicas de tu sitio web. Este código es un punto de partida y puede requerir ajustes adicionales según la estructura exacta de tu foro.
Por hoy me cansé de esto, siento que es mucho más complicado de lo que pensé, otro día sigo.
En línea

Danielㅤ


Desconectado Desconectado

Mensajes: 1.844


🔵🔵🔵🔵🔵🔵🔵


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #8 en: 22 Agosto 2024, 16:35 pm »

Hola, si sólo querés copiar el texto de tus posts en html, eso no sería difícil lograr, ahora si vos querés el post completo en BBC eso ya sería mucho más difícil, ésto lo tenes que tener muy cuenta porque si logras obtener tus propios posts por ejemplo en un archivo de texto, después te vas a quejar de que no era como lo querías, por eso primero para hacer las cosas y que salgan bien, hay que pensarlas antes y después hacerlas.

Desde el propio foro no hay una forma de poder descargar todos tus temas, lo que si puede haber es quizás la posibilidad de poder descargar los datos de tu cuenta de usuario, pero eso no es lo que querés.

Ahora tenés que tener en cuenta también si vos querés copiar tus temas y mensajes o solamente los temas? y después ver cómo ordenarlos en un archivo de texto.

Además de todo eso, el código para hacer eso que pedis primero tiene que obtener el link a tu perfil, después entrar en la lista de tus temas creados o mensajes y temas, ahí debería el código ir entrando en tus temas y copiando el contenido, luego guardarlo en un archivo, así por cada tema, cuándo llegue al último tema de la página X, el script debe pasar a la siguiente página y volver a hacer la misma operación, ésto es recomendable que se haga con un delay (en mili segundos o segundos), es decir usar un intervalo de tiempo por algún sistema de seguridad que el servidor pueda tener y detectar ese raspaje/scrapper, y si lo detecta te puede banear la IP.


Saludos
« Última modificación: 22 Agosto 2024, 17:03 pm por Danielㅤ » En línea

Tachikomaia


Conectado Conectado

Mensajes: 1.424


Hackentifiko!


Ver Perfil
Re: ¿Cómo copio rápido los temas que hice en un foro?
« Respuesta #9 en: 27 Agosto 2024, 08:01 am »

Ahora tenés que tener en cuenta también si vos querés copiar tus temas y mensajes o solamente los temas? y después ver cómo ordenarlos en un archivo de texto.
Lo que quiero son las páginas HTML que implican el 1er mensaje y las respuestas.
Aclaro que no es de este foro.

En texto podría ser si se copian los formatos y emoticones, pero no parece posible. Los emoticones no importan casi, pero las citas sí. Debe haber un indicador de qué es cita y qué no.

Citar
debería el código ir entrando en tus temas y copiando el contenido, luego guardarlo en un archivo
Pensaba más en descarga de las páginas HTML, yo entro a un tema, hago clic derecho, pongo guardar como, y luego de que se descargue voy a otra página del tema si tiene, hasta que ya no tenga. La idea sería que eso se automatice. Yo descargo un tema de vez en cuando, pero son muchos y además tardo algo seleccionando cual.

Creo que lo seguiré haciendo a mano, de a poco, ya tengo bastantes complicaciones y esto parece requerir muchos conocimientos de los que no tengo idea. Pensé que era más fácil.
En línea

Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines