O qué cambiar para que funcione (ya probé quitar antivirus, navegar en incógnito, borrar caché...).

Mi pc:
https://ibb.co/SdcGzC6

Gracias.

Tienes tu Windows 7 desactualizado, necesitas esta Update:
http://download.windowsupdate.com/c/msdownload/update/software/secu/2019/09/windows6.1-kb4474419-v3-x64_b5614c6cea5cb4e198717789633dca16308ef79c.msu

No sé si funcione en tu Windows 7 ya que no tiene el Service Pack 1 pero puedes probarlo, la actualización demora varios minutos y te va a pedir reiniciar.

Con respecto al navegador, pues al menos descarga e instala Chrome y Firefox, yo prefiero Chrome pero también tengo Firefox para algunas cosas, la mayoría de los demás navegadores naces a partir de estos dos así que mucha diferencia no va haber. Al final depende de las herramientas que uses del navegador, porque al final con ambos puedes navegar XD

Por cierto, si no funciona la Update anterior y te pide el Service Pack, lo tienes aca:
http://download.windowsupdate.com/msdownload/update/software/svpk/2011/02/windows6.1-kb976932-x64_74865ef2562006e51d7f9333b4a8d45b7a749dab.exe
http://download.windowsupdate.com/msdownload/update/software/crup/2011/05/windows6.1-kb2533552-x64_0ba5ac38d4e1c9588a1e53ad390d23c1e4ecd04d.msu

Un Intel Celeron con 2GB de RAM   

Ese ordenador tiene que ir tan lento que te felicito por la paciencia que tienes (incluso con Windows 7)

No podrás instalar Windows 10 de ninguna de las maneras o no será usable, creo que el mínimo son 4GB de RAM, pero con un procesador tan lento y malo como un Celeron es tarea imposible.

Con Windows 7 puedes usar Chrome o Firefox sin ningún problema, todavía tienen soporte, es con WIndows XP que es bastante más complicado.

El error que comentas "La conexión no es privada" es del navegador y se refiere al https, ¿En qué página te aparece?

Como bien comenta EdePC falta actualizar Windows 7, mínimo SP1 (Service Pack 1)

Si, el error es por los Certificados propios del sistema operativo, Firefox usa sus propios certificados y no debería tener problemas, pero Chrome, Edge, IE, etc usan los certificados del sistema operativo y por ello el error.

Por otro lado veo que tienes un Windows 7 de 64-bit, es algo no recomendado para un PC con menos de 4GB de ram pero debido a que muchos programas modernos ya solo vienen para 64-bit viene siendo mejor instalar un Sistema de 64-bit, PERO dudo que uses dichos programas porque son pesados y consumen buenos recursos XD.

La experiencia de usuario depende mucho del usuario, hay gente que no es tan "Mr. Robot" manejando su PC y le va bien con un PC de pocos recursos, he visto varios PC con 2GB de Ram y Windows 10 instalado, yo los veo lentos y la cantidad de programas que se pueden abrir son limitadas por la escases de Ram pero los usuarios que los usan dicen que les va perfecto. Por ejemplo: https://foro.elhacker.net/windows/problemas_lentitud_cpu_windows-t506693.0.html;msg2227876#msg2227876

- Yo soy de desactivar todo tipo de animaciones y transiciones porque el PC no responde a la velocidad que quiero XD, a veces la gente se asusta cuando me ve trabajando en un PC o cuando les doy soporte XD. Es cosa de costumbre también, si uno está acostumbrado a dar click derecho y ver una bonita animación de como va apareciendo el menú contextual, como se va cargando un programa y apareciendo la ventana, etc verá endiablada una PC que responde inmediatamente.