python爬虫中xpath怎么用？-Python学习网

python爬虫中xpath怎么用？

xpath一直都享有者python爬虫神器的美称，可以通过xpath定位一个或多个节点，这样的话，能够获取网页中的正文或者属性，甚至是获取全部所需要的各种信息，除此以外，它还是比较简洁清晰明了的路径选择表达式，好啦，根据上述所说，下面我们一起来掌握了解基本的xpath用法吧。

xpath 表达式：

//div[@class="document"]

属性：

Class

值：

Document

实例应用——解析网站

from lxml import etree
text = """
<div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        <li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
"""
 
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果：

 <html><body><div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        </li><li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
</body></html>

现在大家可以看到节点的变化了吧，自动添加了body、html 节点，好啦，感兴趣的小伙伴，可以根据上述内容，学习尝试下哦~