我建了两个网站,没有任何被任何博客添加友链,没有在任何网站上留下过 url ,但是我都在这两个服务器里的 access.log 里看到了谷歌爬虫(虽然我设置了 robots.txt 不让爬取)。难不成是靠遍历 ip 地址吗?
我建了两个网站,没有任何被任何博客添加友链,没有在任何网站上留下过 url ,但是我都在这两个服务器里的 access.log 里看到了谷歌爬虫(虽然我设置了 robots.txt 不让爬取)。难不成是靠遍历 ip 地址吗?
|
xzemNov 17, 2016
1
比如说 chrome
|
|
DesignerSkylineNov 17, 2016 via iPad
2
Google chrome 的安全检测服务可能会导致这个现象
|
|
yankebuptNov 17, 2016 via Android
3
爬的时候不遵循 robots.txt 的也有可能是伪造成谷歌爬虫的其他爬虫,比如安全机构
|
|
yushiroNov 17, 2016 via iPhone
4
网站有域名,根据域名注册商的列表爬。
|
|
5
@DesignerSkyline 什么意思?
|
|
DesignerSkylineNov 17, 2016
7
@whwq2012 safebrowsing probes
|
|
flynajDec 15, 2016 via Android
11
看 ip 地址,如果不是 google 的服务器就是伪造的,可能是扫描
|