PGTS PGTS Pty. Ltd.   ACN: 007 008 568

point Site Navigation



   Stop The Internet Filter!

   No Clean Feed

   The Internet Filter Is An Ex-parrot!







Last Updated: 17-Oct-2010 14:21 UTC

List of Robots Ordered by Robot (Percent)


Click Here For:    Agent Switchboard

Change Order:   Order by robot name     Show values as visits


Browser Apr Mar Feb Jan Dec Nov Oct Sep Aug Jul Jun May
unknown crawler 35.8 23.9 24.0 39.6 38.8 32.9 24.4 16.2 8.0 11.8 15.7 18.3
SemrushBot 15.3 31.9 13.5 12.0 24.1 25.1 19.0 8.6 10.7 17.7 24.3 24.3
YandexBot 14.7 11.0 13.3 11.1 11.0 0.1 0.6 0.2 4.1 10.5 8.4 5.7
curl 10.0 9.0 4.9 12.9 1.4 1.5 0.6 0.4 0.2 0.3 0.7 1.8
Googlebot 5.6 6.8 6.4 5.8 6.4 7.8 6.5 4.4 2.0 3.2 5.0 3.8
unknown 5.1 4.5 4.6 6.0 5.5 5.9 3.3 1.5 0.3 0.0 0.1 0.1
python-requests 4.1 2.1 3.6 2.7 2.5 4.2 2.5 4.4 0.8 1.5 1.3 1.4
DotBot 3.6 1.8 2.2 2.0 1.4 1.4 0.5 0.5 0.6 0.2 0.4 1.0
MJ12bot 1.8 1.9 1.2 0.8 1.0 1.3 1.4 2.0 0.8 1.8 3.8 1.8
MojeekBot 0.6 1.9 1.9 2.3 2.5 2.5 1.6 0.6 0.3 0.5 0.4 0.2
AwarioBot 0.5 0.0 0.1 0.3 0.1 0.1 0.3 0.1 0.0 0.2 0.3 0.2
DataForSeoBot 0.3 0.4 0.2 0.5 0.3 0.4 0.3 0.1 0.1 0.1 0.2 0.2
facebookexternalhit 0.3 1.6 1.2 1.2 1.2 1.9 33.5 57.7 23.1 0.9 5.1 7.6
SeznamBot 0.3 0.2 0.1 0.2 0.3 0.1 0.1 0.1 0.0 0.0 0.1 0.2
CFNetwork 0.3 0.0 0.3 0.2 0.2 0.0 0.0 0.1 0.0 0.1 0.0 0.1
AhrefsBot 0.3 1.3 21.0 0.3 0.0 10.1 0.4 0.3 10.7 19.4 27.5 24.4
Orbbot 0.2 0.2 0.2 0.2 0.7 0.2 0.2 0.1 0.1 0.2 0.0 0.2
ev-crawler 0.2 0.2 0.2 0.2 0.2 0.3 0.1 0.1 0.1 0.1 0.1 0.1
BitSightBot 0.1 0.1 0.1 0.1 0.2 0.2 0.0 0.0 0.0 0.0 0.0 0.0
mithril-crawler 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
LWP Script 0.1 0.2 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
wpbot 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
CCBot 0.1 0.2 0.2 0.3 0.1 0.4 0.2 0.1 0.0 0.0 0.0 0.0
yacybot 0.1 0.1 0.1 0.1 0.2 0.0 0.0 0.1 0.0 0.0 0.0 0.1
Baiduspider 0.1 0.1 0.0 0.0 0.0 0.0 0.1 0.0 0.0 0.0 0.1 0.0
SEMrushBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
msnbot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
bingbot 0.0 0.0 0.0 0.0 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0
DomainStatsBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
serpstatbot 0.0 0.0 0.0 0.1 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0
Timpibot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Baiduspider 0.0 0.1 0.1 0.0 0.0 0.1 0.1 0.0 0.0 0.0 0.0 0.0
VelenPublicWebCrawler 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
WanScannerBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
archive.org_bot 0.0 0.2 0.0 0.0 0.0 0.0 0.2 0.0 0.0 0.0 0.0 0.0
Sengine crawler 0.0 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Qwantbot 0.0 0.1 0.0 0.2 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
NutchBot 0.0 0.0 0.0 0.0 0.0 0.1 1.2 0.3 0.0 0.0 0.0 0.0
WebwikiBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
BingPreview 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Xenu Link Sleuth 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
JSACrawlerBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Mail.RU_Bot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Google Web Preview 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
BLEXBot 0.0 0.0 0.0 0.1 0.1 0.2 0.1 0.1 0.1 0.0 0.1 0.5
Brightbot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
ZoominfoBot 0.0 0.0 0.0 0.4 1.1 1.9 0.7 0.4 0.3 0.4 0.5 0.9
WordPress 0.0 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
centurybot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
AliyunSecBot 0.0 0.0 0.0 0.0 0.2 0.0 0.0 0.0 0.0 0.0 0.0 0.0
YandexRenderResourcesBot 0.0 0.0 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Facebot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
t3versionsBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
W3C_Validator 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Yeti 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.1 0.0 0.0
LightspeedSystemsCrawler 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Exabot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Java 0.0 0.0 0.0 0.0 0.0 0.1 0.1 0.0 0.0 0.0 0.1 0.0
Python-urllib 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.2 0.0
Bytespider 0.0 0.0 0.0 0.0 0.0 0.8 1.7 0.9 37.4 30.9 5.5 6.5
TenMillionDomainsBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Bingbot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
IABot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
HawaiiBot 0.0 0.0 0.0 0.0 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0
Wget 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.3 0.0 0.0 0.0 0.0
StractBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Python libcurl 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
YahooBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Microsoft URL Control 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
ChatGLM-Spider 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
heritrix 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Gabanzabot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
TurnitinBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
TelegramBot 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Friendly_Crawler 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.6
Total 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0