Un virus no hace eso.


¿Que cantidad de archivos hay en esa carpeta?.

Alguna que otra vez suele pasar, me ha pasado sobretodo en máquinas virtuales, windows necesita tiempo para listar y mostrar los archivos de las carpetas a las que accedes, ese tiempo puede demorar entre unos pocos milisegundos o incluso segundos, si tienes un procesador lento y miles de archivos en esa carpeta entonces me parece normal lo que comentas. Otras veces me ha pasado que el único modo de que se actualizase la carpeta sea reaccediendo como tu has comentado.

1. Empieza por decir que Windows usas.

2. En la carpeta Downloads desactiva todas las columnas inecesarias


3. Si en la carpeta hay imágenes entonces en las propiedades del sistema puedes desactivar la vista prevía de imágenes si no te importa perder los thumbnails
    

4. Si lo crees conveniente puedes desactivar algunas opciones más relacionadas con las ventanas del explorer


5. Prueba a desactivar también el panel de vista previa y el panel de navegación del explorer.

Todo eso para que las carpetas se carguen de forma más fluida sin necesitar tanto tiempo de carga.

Saludos