技术文章 > Python技术 > Python爬虫 > 正文

python怎么爬取js请求

silencement

网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。

遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法:

1、从网页响应中找到JS脚本返回的JSON数据;

2、使用Selenium对网页进行模拟访问

从网页响应中找到JS脚本返回的JSON数据

即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。

所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。

推荐学习《Python教程》。

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python学爬虫要安装什么
 爬虫框架 Scrapy入门基础之Spider Middleware
 最简单明了的Python爬虫入门思路
 python爬虫爬取网站有什么用
相关视频章节
 爬虫简介与json07
 Python爬虫的基本原理
 认识爬虫.small
 爬虫实战Xpath抓取猿著文章.small
视频教程分类