Autor
|
Tema: Comprimir varios gigas para transferir/migrar a otro servidor (Leído 6,056 veces)
|
jackl007
Desconectado
Mensajes: 1.403
[UserRPL]
|
Buen dia, tengo una duda respecto a comprimir varios gigas.
Deseo comprimir alrededor de 10'000 ficheros que tengo en una carpeta (pesan como 30 gigas), para luego transferirlo a otro servidor y posteriormente volverlo a descomprimir. Creen que tendré problemas si comprimo todo el directorio de admin/home: alrededor de 15'000 ficheros y un peso de 50 gigas.
Lo que pasa es que tengo un servidor y al parecer voy a mudar a otro más estable. La verdad que una vez movi muchos ficheros y el TAR resultó corrupto.
Alguna recomendación? La verdad que no me interesa el ratio de compresión, simplemente me interesa que los ficheros no estén corruptos y puedan ser descomprimidos sin errores en otro servidor.
PD: Utilizo CentOs 5.5, y me conecto via SSH
|
|
« Última modificación: 24 Octubre 2012, 22:40 pm por jackl007 »
|
En línea
|
|
|
|
oPen syLar
Desconectado
Mensajes: 769
The Best of You..
|
SSH soporta comprensión para el envió de fichero.. Aunque desconozco si es tan efectivo como un bzip2, lzma y 7zip o similar... Obviamente el servidor SSH tiene que tener activado dicha opción.
Quizás un rsync podría ayudarte para no tener que comprimir antes y descomprimir luego y si pierdes conexión no tendrás que partir desde 0
Yo optaría por rsync
|
|
|
En línea
|
Siempre habra 2 verdades, la que quieres creer y la que no aceptaras
|
|
|
Slava_TZD
Wiki
Desconectado
Mensajes: 1.466
♪ [8675309] ♪
|
Con tar no he tenido nunca problemas, una vez comprimidos los ficheros crea una suma de verificación y cuando tengas el .tar en el ordenador local comparas las sumas.
|
|
|
En línea
|
The fact is, even if you were to stop bombing us, imprisoning us, torturing us, vilifying us, and usurping our lands, we would continue to hate you because our primary reason for hating you will not cease to exist until you embrace Islam.
|
|
|
jackl007
Desconectado
Mensajes: 1.403
[UserRPL]
|
Gracias por las respuestas, no me quedo claro lo de la "Suma de Verificación". Cómo se hace con el tar? Por ahi encontre el parametro -W para verificar en tiempo de compresión: tar cvfW fichero.tar directorio/ Pero no se, no me dice si todo está OKay o algo así, solo dice verificando y nada más. Alguna forma más? Averiguare lo del SSH, y del Rsync
|
|
|
En línea
|
|
|
|
portaro
|
yo ya tube problemas en comprimir en tar, y solo me di cuenta de casualidad porque necesitaba saber si habia o no adicionado una folder a uno de los archivos y me estaba corrompido.
LO hice cuando tube necessidad de generar archivos comprimidos de unos pdf videos etc de linux para etudiar y guardarlos siempre.
Te aconsejo mucho hjsplit nunca me dio problemas, o lxsplit.
|
|
|
En línea
|
|
|
|
Slava_TZD
Wiki
Desconectado
Mensajes: 1.466
♪ [8675309] ♪
|
Gracias por las respuestas, no me quedo claro lo de la "Suma de Verificación". Cómo se hace con el tar?
$ md5 .vimrc MD5 (.vimrc) = c95dbdd29fb33a2e9f8f85f23ffd4528 Si se modificase un solo bit del fichero .vimrc la suma sería totalmente distinta. edit: En Linux es md5sum. Saludos
|
|
« Última modificación: 25 Octubre 2012, 18:28 pm por Tzhed\ Kyperf/ »
|
En línea
|
The fact is, even if you were to stop bombing us, imprisoning us, torturing us, vilifying us, and usurping our lands, we would continue to hate you because our primary reason for hating you will not cease to exist until you embrace Islam.
|
|
|
jackl007
Desconectado
Mensajes: 1.403
[UserRPL]
|
Gracias, y alguno ha tenido experiencia con rsync?
En cuanto a hjsplit y lxsplit no es lo que necesito, ya que la transferencia de los archivos la hago via shell directamente y no necesito cortarlos en trozos pequeños, simplemente necesito comprimir varios gigas con miles de archivos sin que se corrompan.
Voy a seguir leyendo un poco más
|
|
|
En línea
|
|
|
|
Diabliyo
Desconectado
Mensajes: 1.441
shell# _
|
Buen dia, tengo una duda respecto a comprimir varios gigas.
Deseo comprimir alrededor de 10'000 ficheros que tengo en una carpeta (pesan como 30 gigas), para luego transferirlo a otro servidor y posteriormente volverlo a descomprimir. Creen que tendré problemas si comprimo todo el directorio de admin/home: alrededor de 15'000 ficheros y un peso de 50 gigas.
Lo que pasa es que tengo un servidor y al parecer voy a mudar a otro más estable. La verdad que una vez movi muchos ficheros y el TAR resultó corrupto.
Alguna recomendación? La verdad que no me interesa el ratio de compresión, simplemente me interesa que los ficheros no estén corruptos y puedan ser descomprimidos sin errores en otro servidor.
PD: Utilizo CentOs 5.5, y me conecto via SSH
El servidor a donde vas a pasarlos esta en linea ?, de donde a donde es la transferencia ? Lo pregunto porque si se trata de grandes cantidades de informacion, no hay cosa mejor que levantes un NFS, y despues jales los datos. Pero igual podrias dar mas informacion de los servers, o: "de donde a donde" vas a pasar los datos. Sobre los TAR, te recomiendo no confiez en comprimir grandes cantidades porque a veces suele comprimirse corrupto, ademas el echo de "comprimir" asume que tendras casi el doble de peso ocupado en el server, lo cual seria necesario tengas espacio suficiente. Saludos !
|
|
|
En línea
|
|
|
|
jackl007
Desconectado
Mensajes: 1.403
[UserRPL]
|
Los servidores están en USA, (yo en Perú), y ambos están conectados a internet. Son servidores para páginas webs.
También había pensado en la posibilidad de usar lftp para hacer la transferencia de todo el directorio, pero no se que tan recomendable sea.
Veré como es el tema del NFS
|
|
|
En línea
|
|
|
|
Diabliyo
Desconectado
Mensajes: 1.441
shell# _
|
Los servidores están en USA, (yo en Perú), y ambos están conectados a internet. Son servidores para páginas webs.
También había pensado en la posibilidad de usar lftp para hacer la transferencia de todo el directorio, pero no se que tan recomendable sea.
Veré como es el tema del NFS
Usa FTP.... asi de simple !.... Montate el proftpd o vsftp... con tu cuenta root conectate y bajate todo... Y no uses comprimidos solo entra a los directorios y bajate todo el folder del HOME que te interese... En lo personal, ya que mencionas que son paginas webs y me imagino es "tu negocio" (o el de tu jefe), para evitarte el problema de bajar y bajar la informacion de tus clientes, te recomiendo mejor veas sobre GITHUB, es un repositorio. Yo acostumbro respaldar todos los dias los /HOME, asi que para no estar rebuscando cuales archivos son nuevos y llenar mi HDD de muchos respaldos. Mejor monto el GIT-Server, hago repositorio el directorio /HOME y mi servidor LOCAL (en mi oficina) hace el respaldo todas las noches. Saludos !
|
|
« Última modificación: 27 Octubre 2012, 04:18 am por Diabliyo »
|
En línea
|
|
|
|
|
Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
[BATCH] comprimir archivos y envio por servidor ftp
Scripting
|
imlikeabird34
|
9
|
11,700
|
30 Diciembre 2012, 19:48 pm
por imlikeabird34
|
|
|
Migrar un foro SMF a otro servidor sin perder mensajes ni datos
Desarrollo Web
|
cenomeno1
|
1
|
2,888
|
17 Octubre 2013, 20:05 pm
por el-brujo
|
|
|
Un fallo en Google+ para Android hace consumir varios gigas en unas horas
Noticias
|
wolfbcn
|
0
|
1,825
|
22 Febrero 2014, 14:27 pm
por wolfbcn
|
|
|
Cómo transferir ficheros de más de 4 gigas a una llave USB
Noticias
|
wolfbcn
|
2
|
1,808
|
10 Abril 2016, 22:49 pm
por Orubatosu
|
|
|
Ayuda para migrar pagina web a un servidor
Desarrollo Web
|
hckcrck
|
0
|
1,974
|
9 Marzo 2017, 15:50 pm
por hckcrck
|
|