文章 > Python爬虫 > Python获取微博热搜的方法

Python获取微博热搜的方法

头像

小妮浅浅

2021-02-25 16:45:30715浏览 · 0收藏 · 0评论

1、网页爬取思路

(一)获取网页内容(这里通俗的说就是用python程序访问网站,发送http请求)

(二)解析网页(就是筛出我们想要的数据)

2、实例

 微博热搜网址:https://s.weibo.com/top/summary

from requests_html import HTMLSession
import time
 
session = HTMLSession()
pa = session.get('https://s.weibo.com/top/summary')
 
def crawlWeiBoHot(i):
    phi = '#pl_top_realtimehot > table > tbody > tr:nth-child('+str(i)+') > td.td-02 > a'
    contain = pa.html.find(str(phi), first = True)
    with open(f"WbHot-{time.strftime('%Y-%m-%d')}.txt", "a+") as wb :
        wb.write(str(i)+'   '+contain.text+'\n')
 
for i in range(1, 51):
crawlWeiBoHot(i)

以上就是Python获取微博热搜的方法,希望能对大家有所帮助。

关注公众号

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图 底部广告图按钮