技术文章 > Python技术 >  Python基础教程 > 正文

python爬虫中xpath怎么用?

 

xpath一直都享有者python爬虫神器的美称,可以通过xpath定位一个或多个节点,这样的话,能够获取网页中的正文或者属性,甚至是获取全部所需要的各种信息,除此以外,它还是比较简洁清晰明了的路径选择表达式,好啦,根据上述所说,下面我们一起来掌握了解基本的xpath用法吧。

xpath 表达式:

//div[@class="document"]

属性:

Class

值:

Document

实例应用——解析网站

from lxml import etree
text = """
<div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        <li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
"""
 
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果:

 <html><body><div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        </li><li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
</body></html>

现在大家可以看到节点的变化了吧,自动添加了body、html 节点,好啦,感兴趣的小伙伴,可以根据上述内容,学习尝试下哦~

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python中矩阵除法运算的三种实现方法
  如何使用Python的numpy库中的shape函数
相关视频章节
  os & sys 模块使用
  包的使用
  第三方开源模块的安装&使用
  自定义模块
  模块介绍和调用方式
作者信息
视频教程分类