网站地图保存到桌面加入收藏设为首页

常见网络蜘蛛名称和标志有哪些

2020-03-09 23:41:55 小编 11人阅读 0人评论

1.谷歌Google蜘蛛 Googlebot Googlebot-Mobile Googlebot-Image Mediapartners-Google Adsbot-Google 
2.百度(Baidu)蜘蛛 Baiduspider 
3.雅虎(Yahoo)蜘蛛 Yahoo!+Slurp Yahoo!+Slurp+China:雅虎中国蜘蛛 
4.有道(Yodao)蜘蛛 YodaoBot YoudaoBot YodaoBot-Image 
5.搜搜(Soso)蜘蛛 Sosospider Sosoimagespider 
6.微软(Bing和MSN)蜘蛛 bingbot msnbot msnbot-media 
7.搜狗(Sogou)蜘蛛 Sogou Web Sprider Sogou Orion spider Sogou-Test-Spider

详细介绍:
1. 谷歌Google蜘蛛
1) Googlebot:从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile:针对Google的挪移索引抓取网页
3) Googlebot-Image:针对Google的图片索引抓取网页
4) Mediapartners-Google:抓取网页确定 AdSense 的内容。惟独在你的网站上展示 AdSense 广告的情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。惟独在你使用 Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度(Baidu)蜘蛛名称:Baiduspider
3. 雅虎(Yahoo)蜘蛛
1) Yahoo!+Slurp:雅虎总站蜘蛛
2) Yahoo!+Slurp+China:雅虎中国蜘蛛
4. 有道(Yodao)蜘蛛
1) YodaoBot:有道蜘蛛
2) YoudaoBot:有道蜘蛛
3) YodaoBot-Image:有道图片蜘蛛
5. 搜搜(Soso)蜘蛛
1) Sosospider:搜搜蜘蛛
2) Sosoimagespider:搜搜图片蜘蛛
6. 微软(Bing和MSN)蜘蛛
1) bingbot:必应蜘蛛
2) msnbot:MSN蜘蛛,这个蜘蛛只在我的网站爬行了robots.txt
3) msnbot-media:MSN蜘蛛
7.搜狗(Sogou)蜘蛛
1) Sogou Web Sprider:搜狗网页蜘蛛
2) Sogou Orion spider:搜狗蜘蛛

标签:名称  网络  常见  标志  哪些  

相关评论

0

本站内容来源于互联网,仅供用于学习和交流,任何人不得倒卖、行骗、传播、严禁用于商业用途!
请遵循相关法律法规,本站一切资源不代表本站立场如有侵权内容、不妥之处请第一时间联系我们删除,敬请谅解!

投诉侵权邮箱:2911989826@qq.com 或联系QQ:2911989826  关键词:青柚,青柚资源网,资源网

粤ICP备19142866号 网站地图