No lo sé, pero por ejemplo el foro y la web no paran de rastrearlo con su bot de rastreo "
SemrushBot" . Está en el Top 1 de robot rastreador con mucha diferencia.
En pocos días (analíticas de Awstats)
Visitas de Robots/Spiders (Top 10) - Lista completa - Última visita
113 robots distintos* Solicitudes Tráfico Última visita
SemrushBot 93,513+175 1.92 GB 06 Ene 2021 - 13:14
Top 10 (sin contar Google Bot)
SemrushBot/7~bl; +http://www.semrush.com/bot.html)
MegaIndex.ru/2.0; +http://megaindex.com/crawler)
PetalBot;+https://aspiegel.com/petalbot)
YandexBot/3.0; +http://yandex.com/bots)
bingbot/2.0; +http://www.bing.com/bingbot.htm)
DotBot/1.1;
http://www.opensiteexplorer.org/dotbot, help@moz.com)
Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
MJ12bot/v1.4.8;
http://mj1Así que imagino que estarán rastreando internet de forma intensiva se puede hacer analíticas y demás "bastante" fiables.