Muy buen dia.
Problema:
La memoria utilizada por el programa aumenta y no disminuyeSolución: No es un problema, es la memoria que se genera por el paradigma de la recursividad, esto es: que al llamar a la misma función de forma recursiva, el Stack Frame de la memoria que utiliza cada una de las llamadas a la función se acumule.
Intente aplicar una solucion de forma Iterativa, guardando el Path de los directorios que faltan por leer en una Queue, pero utiliza mas memoria que la solucion recursiva.readdir devuelve un apuntador de la estructura (struct dirent)
Mas info:
https://linux.die.net/man/3/readdirEl cual creo que es el causante de este POST.
Versión Corta¿Quien controla el Apuntador entregado por readdir?
Es memoria estatica y no se debe de liberar
directorio_archivo_temporal = readdir(directorio)
Al momento de tratar de liberar dicho apuntador, el programa se cuelga...
while(directorio_archivo_temporal = readdir(directorio) ) {
//etc..
free(directorio_archivo_temporal
); }
El problema radica en que la memoria del programa solo aumenta y no disminuye.
Codigo de la version corta funcionando
#include<sys/stat.h>
#include<sys/types.h>
#include<dirent.h>
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
int is_regular_file(const char *path);
int procesar_directorio(char *path);
int main(int argc,char **argv) {
switch(argc){
case 2: //Se espera directorio
procesar_directorio(argv[1]);
break;
default:
printf("Numero de argumentos no esperado\n"); break;
}
}
int is_regular_file(const char *path) {
struct stat path_stat;
stat(path, &path_stat);
return S_ISREG(path_stat.st_mode);
}
int procesar_directorio(char *path) {
DIR *directorio;
struct dirent *directorio_archivo_temporal;
char *path_copy;
int len_path;
char *path_temporal;
int len_path_temporal;
directorio = opendir(path);
if(directorio != NULL) {
path_copy
= malloc(len_path
+2); memcpy(path_copy
,path
,len_path
); if(path_copy[len_path - 1] == '\\' ){
path_copy[len_path] = '\0';
}
else {
path_copy[len_path] = '\\';
path_copy[len_path+1] = '\0';
len_path++;
}
while(directorio_archivo_temporal = readdir(directorio) ) {
len_path_temporal
= strlen(directorio_archivo_temporal
->d_name
); path_temporal
= malloc(len_path
+len_path_temporal
+1); path_temporal[len_path+len_path_temporal] = '\0';
sprintf(path_temporal
,"%s%s",path_copy
,directorio_archivo_temporal
->d_name
); if(is_regular_file(path_temporal)) {
}
else { //Directorio?
if( len_path_temporal > 2 ) { //not .. or .
procesar_directorio(path_temporal); //recursivamente
}
}
}
closedir(directorio);
}
}
Versión extensaAquí esta toda la
LetaníaEstoy realizando un programa que lea de forma Recursiva un directorio dado y liste los archivos en pantalla. Nada del otro mundo. Asi mismo estoy haciendo que el formato de salida sea el formato tipo UNIX /bla/bla/bla en lugar del formato de windows C:\lalala\lalalala.txt
Esto con el objetivo de virtualizar el path de subdirectorios específicos para otro programa pero eso ya es harina de otro costal.
El problema es que cuando listo Cualquier carpeta con muchos subdirectorios como la unidad C:\ el programa en empieza usando lo clasico unos 400 KB y termina utilizando 800 KB o mas dependiendo de la carpeta que este listada.
El dia Ayer publique un post parecido:
Problema de memoria en miniservidor usando Winsock (Solucionado)En el cual se estaba cerrando el socket de forma incorrecta.
En este caso creo que es problema del apuntador devuelto por readdir.
Código del programa funcionando:
#include<sys/stat.h>
#include<sys/types.h>
#include<dirent.h>
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
int fsize(const char *filename);
int is_regular_file(const char *path);
int procesar_directorio(char *path,char *virtual_path);
int main(int argc,char **argv) {
switch(argc){
case 2: //Se espera directorio
procesar_directorio(argv[1],"/");
break;
case 3: //Se espera archivo + nombre de directorio de destino.
break;
default:
printf("Numero de argumentos no esperado\n"); break;
}
}
int is_regular_file(const char *path) {
struct stat path_stat;
stat(path, &path_stat);
return S_ISREG(path_stat.st_mode);
}
int fsize(const char *filename) {
struct stat st;
if (stat(filename, &st) == 0)
return st.st_size;
return -1;
}
int procesar_directorio(char *path,char *virtual_path) {
DIR *directorio;
struct dirent *directorio_archivo_temporal,*result;
char *path_copy;
char *virtual_path_copy;
int len_path,len_virtual_path;
char *path_temporal;
char *virtual_path_temporal;
int len_path_temporal;
int len_virtual_path_temporal;
directorio = opendir(path);
if(directorio != NULL) {
len_virtual_path
= strlen(virtual_path
);
virtual_path_copy
= malloc(len_virtual_path
+2); path_copy
= malloc(len_path
+2); memcpy(path_copy
,path
,len_path
); memcpy(virtual_path_copy
,virtual_path
,len_virtual_path
);
if(path_copy[len_path - 1] == '\\' ){
path_copy[len_path] = '\0';
}
else {
path_copy[len_path] = '\\';
path_copy[len_path+1] = '\0';
len_path++;
}
if(virtual_path_copy[len_virtual_path - 1] == '/' ){
virtual_path_copy[len_virtual_path] = '\0';
}
else {
virtual_path_copy[len_virtual_path] = '/';
virtual_path_copy[len_virtual_path+1] = '\0';
len_virtual_path++;
}
/*
directorio_archivo_temporal = calloc(1,sizeof(struct dirent));
result == NULL;
*/
//while(readdir_r(directorio,directorio_archivo_temporal,&result) == 0 && result != NULL){
while(directorio_archivo_temporal = readdir(directorio) ) {
len_path_temporal
= strlen(directorio_archivo_temporal
->d_name
); //printf("readdir point to %p\n",directorio_archivo_temporal);
//printf("Len %i : %s\n",len_path_temporal,directorio_archivo_temporal->d_name);
path_temporal
= malloc(len_path
+len_path_temporal
+1); virtual_path_temporal
= malloc(len_virtual_path
+ len_path_temporal
+1);
path_temporal[len_path+len_path_temporal] = '\0';
virtual_path_temporal[len_virtual_path+len_path_temporal] = '\0';
sprintf(path_temporal
,"%s%s",path_copy
,directorio_archivo_temporal
->d_name
); sprintf(virtual_path_temporal
,"%s%s",virtual_path_copy
,directorio_archivo_temporal
->d_name
);
if(is_regular_file(path_temporal)) {
//printf("Archivo :\"%s\"\n",path_temporal);
printf("%s\n",virtual_path_temporal
); }
else { //Directorio?
if( len_path_temporal > 2 ) { //not .. or .
procesar_directorio(path_temporal,virtual_path_temporal); //recursivamente
}
}
free(virtual_path_temporal
); }
//free(directorio_archivo_temporal);
closedir(directorio);
}
else {
printf("El directorio \"%s\" no es un directorio valido\n",path
); }
}
Funciona bien, recibe parametros de entrada, ejemplo
Ejemplo
C:\>generar_contenido.exe contenido
/index.html
Le agregue un getchar al final del archivo para poder ver con cuanta memoria termina el programa. Para carpetas sin tanto subdirecorio no hay problema, el detalle es cuando se trata de todo un disco...
Imagen:
Ya he validado que todos los apuntadores que yo genero de forma dinámica son liberados en su totalidad, esto mediante re implementaciones de malloc,calloc,realloc y free como describo en el siguiente post:
¿He liberado todos los apuntadores?Imagen:
Con lo cual considero que el problema es el apuntador devuelto por readdir.
Intente cambiar el siguiente pedazo de codigo
while(directorio_archivo_temporal = readdir(directorio) ) {
//etc...
}
por
while(directorio_archivo_temporal = readdir(directorio) ) {
//etc..
free(directorio_archivo_temporal
); }
Pero el programa se queda colgado por un rato y finaliza, seguramente por tratar de escribir en memoria que no esta asignada...
Intente implementarlo con readdir_r utilizando mi propio apuntador previamente asignado..
while(readdir_r(directorio,directorio_archivo_temporal,&result) == 0 && result != NULL){
Pero por alguna razon MinGW no lo tiene implementado, y segun he visto ya esta deprecated, entonces ¿Cual puede ser la solución?
Saludos!
Pordon por el Post tan largo, aqui esta su patata
Mostrar Mensajes
