数据转换之后,用xpath('//*').extract()可以找到需要的div标签,但是使用xpa

十

import requests
import parsel
#获取网页
base_url='https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3'
#伪装身份
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}
#获得回应
response=requests.get(base_url,headers=headers)
html_str=response.text
#print(html_str)

html=parsel.Selector(html_str)
#print(html)
title_url=html.xpath('//div').extract()
print(title_url)

  • 流芳
  • 流芳     2020-06-15 09:52:021楼

    首先因为你的问题可能没说完,从你的变量命名看你的目的应该是采集标题的链接,如下图。这个是一个谷歌插件可以访问外网的话在谷歌商店下载(xpath helper),不能访问外网可以在网上找资源。类似插件也有不少。浏览器搜索也支持不过不直观。如果不了解xpath语法看第二张图,不过不推荐因为很多时候会出错。

    lQQ图片20200615094553.png

    44.png

    +添加回复