品易云推流 关闭
文章 > 其他 > 爬虫可以爬哪些网站

爬虫可以爬哪些网站

爬虫

头像

小妮浅浅

2021-05-12 10:25:461063浏览 · 0收藏 · 0评论

1、新闻网站

新闻网站,所有网站上能看到的东西都可以收集。

可收集的内容包括:标题;作者;发布时间;新闻来源;二级标题;摘要;内容;视频网站;图片链接;语言;新闻类型;发布状态;删除状态;网站名称;内容源代码等。

2、招聘网站

招聘网站需要强调需要付费才能看到的简历,不能收集!非公开申请人的简历不能收集!

可以收集的包括:公司名称;招聘岗位;网页链接;岗位分类;工作地点;专业需求;公司介绍;交付地址;行业;工作内容;工作要求;其他信息等。

3、论坛网站

论坛网站可以收集,包括:帖子;发帖人;发帖时间;发帖数量;发帖人关注数量;发帖内容、回复内容等。

4、电子商务网站

电子商务网站能否收集需要提前与技术顾问沟通,浏览电子商务网站某产品的用户手机号码无法收集。

可收集内容:价格;名称;关键字;图片链接;付款人数;链接地址等。

5、搜索引擎类

搜索引擎要用户提供登录帐号和关键字,配置非常简单,收集时无效数据会比较多。收集到的内容当然也是可以看到的。

以上就是爬虫可以爬取的网站,借助爬虫技术,我们能够在短时间内搜集到自己想要的数据。使用爬虫时结合代理ip也是不错的选择。如果大家想测试使用下,可以尝试品易云http代理ip,免费测试包含各种类ip资源,无限调用IP量!更多常见问题解决:ip

(推荐操作系统:windows7系统、Python 3.9.1、DELL G3电脑。)

关注公众号

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图 底部广告图按钮