品易云推流 关闭
文章详情页
文章 > Python爬虫 > 爬虫时使用http代理ip的注意点

爬虫时使用http代理ip的注意点

爬虫

头像

小妮浅浅

2021-06-16 13:54:51719浏览 · 0收藏 · 0评论

1、检查JavaScript。如果你从web服务器收到的页面是空白的,缺少信息,或者没有达到你的预期(或者不是你在浏览器中看到的),可能是因为网站创建页面的JavaScript执行有问题。

2、检查正常浏览器提交的参数。如果您要提交表单或向网站发送开机自检请求,请记得检查页面内容,查看您要提交的每个字段是否都已填写完毕,格式是否正确。使用Chrome浏览器的network面板(快捷键F12打开开发者控制台,然后点击“Network”查看)检查发送到网站的POST命令,确保你拥有的每个参数都是正确的。

3、是否有合法的Cookie。如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确保在加载每个页面时正确调用cookie,并且每次发出请求时都将cookie发送到网站。

4、IP被封禁的检测。如果用到HTTP,可以选择代理Ip。

错误,特别是403禁止问错误,可能说明网站已经把你的IP当成了机器人,不再接受你的任何请求。你要么等着自己的IP地址从网站黑名单里去掉,要么改(可以去星巴克上网)。如果你确定自己没有被封禁,查看下面的内容。

5、确认爬虫在网站上的速度不是特别快。快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。

6、还有一件必须做的事情:修改你的请求头!有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。

以上就是爬虫时使用http代理ip的注意点,在爬取数据时应该避免这类情况的产生。建议结合代理ip的使用,如果大家想测试使用下,可以尝试品易http代理ip,免费测试包含各种类ip资源,无限调用IP量!更多Python学习指路:python爬

本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图