如何查看网站爬虫协议
小妮浅浅
2021-05-13 10:14:012765浏览 · 0收藏 · 0评论
1、查看robot协议的方法是
网页有效URL+/robots.txt。
2、Robots协议的原则
根据下列原则，Robots协议是国际互联网界通行的道德规范：
搜索技术应该为人类服务，尊重信息提供商的意愿，维护其隐私；
网站有义务保护用户的个人信息和隐私免受侵犯。
拓展
网站爬虫协议说明
Robots协议(又称爬虫协议、机器人协议等)的全称是网络爬虫排除标准，robots.txt是搜索引擎访问网站时首次查看的文件，如果我们站点的一部分内容不想被搜索引擎捕获，则通过Robots协议。
以上就是查看网站爬虫协议的方法，在我们使用爬虫之前，一般是需要查看对应网站协议，在采集的数据上会绕过协议里的范围。爬虫的时候可以结合代理ip的辅助，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
关注公众号，随时随地在线学习
写文章
分享到微博
微信扫一扫
流芳
79935
