会员登录|免费注册|忘记密码|管理入口 返回主站||保存桌面
Python爬虫-电影数据抓取!
2025-01-28IP属地 湖北7

包含编程籽料、学习路线图、爬虫代码、安装包等【点击领取】

一、分析页面结构
打开开发者工具,获取页面源代码
在这里插入图片描述

我们进入这个iframe的src地址中

在这里插入图片描述

我们发现该页面中只有一个视频在播放,正是我们想要的,我们继续分析该页面的源码,搜一搜看看有没有m3u8的文件类型

在这里插入图片描述

发现页面里正好有两个m3u8文件,这时候我们去抓包工具里看看这两个url对应的resp是什么东西

在这里插入图片描述
对应的response如下

在这里插入图片描述
目测应该是我们想要的
可以开始准备爬取了

二、爬取视频的思路
1.首先获取视频页面html中的iframe标签内的src中的内容
2.根据请求src中的url,在得到的响应中获得playlist中对应的m3u8地址
4.使用异步协程批量下载m3u8中的ts文件
5.使用剪辑工具拼接好下载的ts文件

三、实施计划
1.得到iframe中的src,按标签查内容的话可以使用beautifulsoup
在这里插入图片描述
2.请求src中的url,在相应页面中得到playlist对应的m3u8地址
(由于这里的m3u8地址是在js脚本中,这里的匹配我们选用正则表达式来匹配
在这里插入图片描述

3.下载m3u8文件:这里由于我们得到的地址是相对地址,需要我们手动拼接,详细见源码
在这里插入图片描述
4.下载好m3u8文件后,我们开始批量下载m3u8文件里的内容,这里也需要我们拼接出绝对地址
(这里涉及协程代码,我也正在学习中
在这里插入图片描述
5.下载ts文件
在这里插入图片描述
6.下载完毕ts文件之后,就需要我们来拼接所有的ts文件了
但我这里拼接暂时出现了问题,提示代码行过长,还没有想到解决办法
7.最后放上下载好的ts文件的截图
在这里插入图片描述