文章 > Python基础教程 > 网络爬虫python是什么意思

网络爬虫python是什么意思

头像

小妮浅浅

2021-04-14 10:44:18751浏览 · 0收藏 · 0评论

1、概念

网络爬虫也称为网络蜘蛛,它是指通过脚本程序,根据某种规则在网络上爬行所需的东西。大家都知道,每一个网页都包含了其他网页的入口,而网络爬虫通过一个网址依次进入其他网站来获取所需的内容。

2、组成

爬行器调度程序(程序入口,用动整个程序)

url管理器(用于管理未爬行的url和已爬行的url)

web下载器(用于下载web内容进行分析)

网页解析器(用于分析下载的网页,获取新的网址和所需内容)

网页输出器(用于以文件的形式输出获得的内容)

3、设计理念

(1)先确定需要爬取的网页URL地址。

(2)通过HTTP/HTTP协议获得相应的HTML页面。

(3)在HTML页面中提取有用数据:

如果是必要的数据,保存。

如果是页面中的其他URL,则继续执行第二步。

以上就是网络爬虫python的介绍,通过本篇的学习,我们可以对python爬虫有一个初步的了解。更多Python学习指路:python爬虫

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注公众号

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图 底部广告图按钮