技术文章 > Python技术 > Python基础 > 正文

如何用python爬虫中的xpath抓取信息?

小妮浅浅

在学习了python爬虫模块后,小编对于获取数据的方法仿佛打开了新的思路。方法之间没有哪种可以不局限于所有的使用环境,小编在每次写的时候都会注明使用,小伙伴们看的时候需要留意,不然运行后弄出乌龙就尴尬了。下面我们一起来看看xpath是如何在python爬虫中抓取信息的吧。


我们使用xpath语法来提取我们所需的信息。 不熟悉xpath语法的自行学习一下,很快就能上手,难度不高。 首先我们在chrome浏览器里进入豆瓣电影TOP250页面并按F12打开开发者工具。

 


我们可以看到每一部电影的信息都在一个<li>...<li>里,打开后可以找到我们想要的全部信息,其中spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL, 并以 parse 为回调函数生成 Request。看一下代码:

 

 

以上就是xpath语言在python爬虫中抓取信息的方法了,没想到小小的语法还有这么多的作用吧。更多Python学习推荐:PyThon学习网教学中心


免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python爬虫中scrapy组件有哪些?作用是什么?
 python3爬虫中如何搭建scrapy框架?需要注意什么?
 python爬虫scrapy框架可以在IDE中调试吗?
 如何用python爬虫scrapy框架中获取内容?
 如何用scrapy框架构建python爬虫?
相关视频章节
 Scrapy爬虫的第一个实例
 Scrapy爬虫的基本使用
 股票数据Scrapy爬虫实例编写
 股票数据Scrapy爬虫实例介绍
 股票数据定向Scrapy爬虫实例优化
作者信息

小妮浅浅

认证0级讲师

最近文章
推荐视频
视频教程分类