品易云推流 关闭
文章详情页
文章 > 爬虫实战 > python爬虫实战之爬取百度首页的简单实现

python爬虫实战之爬取百度首页的简单实现

Python爬虫

头像

宋雪维

2021-05-19 10:30:411251浏览 · 0收藏 · 0评论

第一步:导入requests模块

import requests

第二步:指定URL并进行UA伪装

#如果当前python文件作为入口程序执行时,则执行if语句下的代码if  __name__=='__main__':
    # 指定URL
    url = 'https://www.baidu.com'
    # 进行UA伪装,模拟浏览器,注意要将相应的User-Agent封装在一个字典中
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0'
    }

第三步:向服务器发起请求,get方法返回一个响应对象

  response = requests.get(url=url, headers=headers)

第四步:获取字符串类型的响应数据

page_text = response.text

第五步:持久化存储,写入文件

 with open('./baidu.html', 'w', encoding='utf8') as fp:
        fp.write(page_text)
    print('百度首页爬取成功!!!')

以上就是python爬虫实战之爬取百度首页的简单实现,是不是很简单,大家快尝试看看吧·

如果大家想测试使用下,可以尝试品易云http代理ip,免费测试提供1000个国内外ip地址,希望对大家有所帮助!

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图