Es completamente normal y entendible, depende del sitio al que te conectes para bajar no da el 100% de la conexión a internet y esto es debido a los acuerdos de tráfico que tienen todas las operadoras de internet.
Internet es una red muy grande, y a veces para descargar un simple fichero la conexión debe pasar por muchos sitios (países) y es imposible para cualquier operadora de internet tener equipos físicos en todas partes, por lo que las operadoras utilizan puntos de intercambio (gratuito) en muchos sitios del mundo (peering). También tienen acuerdos de tráfico de pago con otras operadoras.
Tu conexión a internet tiene un ancho de banda 100mbps, con lo que podrás bajar a ese máximo de velocidad, pero no quiere decir que siempre vayas a poder usar esa velocidad.
Normalmente los tests de velocidad si suele dar la máxima velocidad, porque la operadora ya se encarga de que ese test de velocidad esté dentro de su red cercana y rápida y prácticamente es una red local, pero en internet eso no siempre se cumple.
También influye en la velocidad de descarga, la velocidad del servidor que está sirviendo el fichero, imagina que tiene un ancho de banda de 100Mb y justo en ese momento está sirviendo miles de peticiones, con lo que el ancho de banda se reparte entre todos.
Si ves que una descarga muy grande va muy lenta, pues mira si hay algún mirror (espejo) más cercano, normalmente contra más cerca, suele ir más rápido, pero esta teoría no siempre se cumple.
Peering, BGP y Sistemas Autónomos (AS) https://blog.elhacker.net/2013/03/peering-bgp-y-sistemas-autonomos-as-asn-ixp.html