En el explorer no te sale porque sencillamente el explorer no avisa cuando es una conexion sin cifrar, por eso no te sale el cartelito. En el firefox si que te avisa para que sepas que pasa con tu conexion, pero eso me parece que es solo la primera vez, ya que a mi cuando instale firefox me salia, ahora no.

Que puedes hacer para cifrar la conexion? pues yo no conozco ningun programa para cirfrar la conexion a internet, asi que yo creo que nada, aunque si es para el correo electronico puedes probar PGP. Para las paginas web el cifrado tambien deberia de ser en el servidor (no solo en tu ordenador), y si no lo han puesto tu no tienes nada que hacer.