No hace falta borrarlos.
Es inseguro usar SMS porque pueden clonarte la SIM o duplicarla y entonces obtener ese SMS en el momento. Una vez lo has recibido no hay ningún problema, sólo puedes verlo tu.
Aunque bueno después de 1 minuto o 2 ya no son validos y caducan jeje
Tú mismo te has respondido.
Se recomienda no usar doble factor de autenticación por SMS puesto que es muy inseguro, pero si algunas empresas lo siguen usando pues allá ellos. También siguen mandado contraseñas en texto plano por e-mail a la hora de registrarte y muchas otras cosas potencialmente inseguras.
En el blog he escrito mucho sobre técnica Swim swap o SIM Swapping:
https://blog.elhacker.net/search/label/sim%20swap