利用协程爬取m3u8视频

在进行了爬虫的相关学习之后，自己尝试爬取了一些视频，但动辄ts文件就几百个，单线程伤不起那时间，一个一个等实在太慢了，想利用多线程，查看相关资料，又说python是假的多线程，而且爬取视频这操作也属于IO阻塞操作多的那种，感觉时间提升也不大，多线程和多进程还有协程，协程挺适合这种的，就毅然决然的使用协程了。注：各位大佬轻喷

一.查看网站并分析

1.找到各集数对应网站

首先理清爬取思路，对我这种刚入门的菜鸡来说，爬视频就是看它是不是mp4，或者是不是m3u8格式的，但如标题所言，我今天找的这个是m3u8格式的。直接查看网站源码，如图所示，我们想爬取所有集数首先需要找到这些集数的href

可以看到，我们如果想进这些集数的网站里面得到m3u8文件还是需要进行拼接操作的，这样才能得到进一步m3u8文件。

我们首先进入第一集里面看一看，瞅一瞅，熟悉的打开网站，熟悉的搜索video，打开一看，哇，

是不是很简单

我的上帝啊，瞧瞧那document上面一排是什么，哇，是iframe标签，看来还需要打开一个网站，这标签代表着视频是在内嵌的框架播放的，因为网页中嵌入的<Iframe></Iframe>所包含的内容与整个页面是一个整体（上面这句专业的话那肯定不是我说的），大概就是相当于另一个网站吧。直接requests肯定得不到m3u8文件了。接下来找到那个内嵌网站

2.找到内嵌网站

接下里我们就直接进入网站源码里面进行查找吧，腚眼一看

这不就找到了内嵌网站了吗，只是斜杠在处理的时候需要换一下，这里注意，处理的时候需要转义一下，单斜杠替换的时候不会处理掉的。

3.进入内嵌网站拿到m3u8

进入视频网站，可以知道，整个屏幕都是视频，我们怎么查看源码呢，同样是按F12，在sources里面打开网址路径对应的文件夹下打开，可以找到m3u8文件

什么，你说你看到上面也有一个m3u8文件

我才不会跟你说我写这一篇博客的时候才看到，没事，大不了多一个步骤。刷新页面，可以看到这个m3u8的预览

很明显，我们需要通过这个m3u8文件拿到完整的m3u8文件，

当拿到完整的m3u8文件之后，我们也可以通过这个网站先看一下完整的m3u8文件预览

对味了，啊，那居然还有加密，可以看到是AES-128加密，没事，我们到时候把每一集的m3u8文件这个对应URI拿到并且得到key就行，从uri里面得到密码直接解密，AES的原理详情我也不是很清楚，但好像解密步骤就那回事，需要看看是AES的什么类型。这些可以拿到每一集的m3u8文件了，并且边解密边写入文件

4.将ts文件写入对应的文件夹

这里就利用到我们需要的协程了，直接贴完整代码吧，首先是总体思路

总体思路就是这样，其他的都是一些细枝末节了，接下来也就是看协程怎么运用了。至于ts的合并，就放在下边，也不多赘述了，主要就是利用顺序来合并，自动合并的话顺序有些问题。

import os
import globfor t in range(0,14):if t < 10:x = glob.glob0(f"./第0{t}集/*.ts")print(len(x))with open(f"第0{t}集总合并.ts", "ab") as g:for i in range(0, len(x) - 1):with open(f"./第0{t}集/{i}.ts", 'rb') as xx:g.write(xx.read())else:x = glob.glob(f"./第{t}集/*.ts")print(len(x))with open(f"第{t}集总合并.ts", "ab") as g:for i in range(0, len(x) - 1):with open(f"./第{t}集/{i}.ts", 'rb') as xx:g.write(xx.read())

二.完整代码

import os
import random
import aiofiles
from lxml import html
import requests
import asyncio
import aiohttp
import re
import datetime
from Crypto.Cipher import AES
import timeetree = html.etree
episode_list = []
html_list = []
headers = {'User-Agent': 'Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / ''91.0.4472.124Safari / 537.36 '}def get_key(name):with open(f"{name}的m3u8.txt", "r") as f:for i in f:# 使用正则来得到密码连接x = re.compile(r'URI="(.*?)"')t = x.findall(i)if len(t):# print(t[0])# 直接把密码原文得到，byte类型resp = requests.get(t[0], headers=headers).content# print(resp)return resp# 正式写入文件夹里面的ts文件
# 必须得用n来排序,要不然顺序乱了
async def download_ts_descrpt(name, line, n, key,sem):
#这里就是调用同时并发协程的数量async with sem:# aiohttp.ClientSession() as session:可以放在上一个函数打开文件上面，因为我的操作相当于每一次运用协程# 都创建一个连接池，不建议我这样的做法async with aiohttp.ClientSession() as session:async with session.get(url=line, headers=headers) as f:#需要利用aiofiles来打开文件，也是异步操作async with aiofiles.open(f"{name}/{n}.ts", 'wb') as x:t = await f.content.read()                      #使用协会时候需要使用read（）# 利用密钥进行解密操作，CBC为猜的，偏移量数量设置跟解出来的密码个数相同aes = AES.new(key=key, IV=b'0000000000000000', mode=AES.MODE_CBC)await x.write(aes.decrypt(t))# 创建保存ts的文件夹，从m真实的m3u8文件里面读取ts
async def create_ts_encrpt(name, key):count = 0#使用count来计数，这样不会使协程写入的时候，ts文件顺序变乱tasks = []#判断是否有文件夹 ，如果有就跳过，没有就创建if not os.path.exists(f'{name}'):os.makedirs(f"{name}")#这里注意，协程里面再次创建协程，这就是进行异步操作，把每一步ts文件添加到协程任务列表#sem = asyncio.Semaphore(5)代表允许的并发协程数量为5，这里不建议设多，也不建议删掉，太多# 的话容易信号灯超时，也就是aiohttp.ClientSession创建的连接池里面请求，网站会响应不过来sem = asyncio.Semaphore(5)async with aiofiles.open(f"./{name}的m3u8.txt", mode='r') as f:async for line1 in f:if line1.startswith("#"):continueelse:line1 = line1.strip()# print(line1)# 添加另外一个协程事件进行操作，这就是写入加密得tstasks.append(download_ts_descrpt(name, line1,  count, key,sem))count += 1await asyncio.wait(tasks)# 把第二层m3u8文件写下来
async def download_m3u82(url, name):async with aiohttp.ClientSession() as session:async with session.get(url, headers=headers) as f:f1 = await f.content.read()# 因为只能写入content所以不需要decodewith open(f"{name}的m3u8.txt", 'wb') as f2:f2.write(f1)# 这里得到每一个密钥然后传入下一个协程函数。这里调用了get_key函数得到每一个密钥key_encrpt = get_key(name)await create_ts_encrpt(name, key_encrpt)# 把第一层m3u8文件写下来，并把第二层m3u8的文件读出来
async def download_m3u8(url, name):async with aiohttp.ClientSession() as session:async with session.get(url, headers=headers) as f:f1 = await f.content.read()# 因为只能写入content所以不需要decodewith open(f"{name}.txt", 'wb') as f2:f2.write(f1)#这里就是读出来with open(f"{name}.txt", 'r', encoding='utf-8') as y:for line in y:if line.startswith("#"):continueelse:# 去掉空白和换行符line = line.strip()line = "https://vod2.buycar5.cn" + line# print(line)await download_m3u82(line, name)  #又传入下一个函数# 在视频里面把每一个m3u8文件拿出来
async def get_html_m3u8(url, name):async with aiohttp.ClientSession() as session:async with session.get(url, headers=headers) as f:html2 = await f.content.read()html2 = html2.decode('utf-8')# print(html2)html2_m3u8 = re.findall(r'var main = "(.*?)";', html2)[0]html2_m3u8 = 'https://vod2.buycar5.cn' + html2_m3u8await download_m3u8(html2_m3u8, name)# 从每一集的链接里面把视频的链接提取出来
async def get_html_m3u8_pre(url, name):async with aiohttp.ClientSession() as session:          #实例化session通过session来getasync with session.get(url, headers=headers) as f:html1 = await f.content.read()html1 = html1.decode('utf-8')# print(html1)，第一集吗，格式跟其他集数有所不同可以理解if name == "第01集":html1_m3u8 = re.findall(r'"link_pre":"","url":"(.*?)","url_next"', html1)[0].replace("\\", "")      #这里就是双斜杠，文中提到的需要转义的地方else:html1_m3u8 = re.findall(r'.html","url":"(.*?)","url_next"', html1)[0].replace("\\", "")# print(html1_m3u8)await get_html_m3u8(html1_m3u8, name)           #使用await调用协程函数#得到每一集的初始链接
async def get_html(url):tasks = []  #因为有12集，从主页面的li下面的得到的每一集的链接需要进行拼接，并且将12集用协程来完成，创建协程列表resp = requests.get(url, headers=headers).content.decode('utf-8')resp = etree.HTML(resp)resp_list = resp.xpath('//ul[@class="stui-content__playlist clearfix"]')for res in resp_list:episode = res.xpath('./li/a/@href')                         #得到名字和网址，此时返回的都是列表，注意episode_name = res.xpath('./li/a/text()')# print(episode_name)for i in range(0, len(episode)):episode[i] = "https://www.autonicdq.com" + episode[i]tasks.append(get_html_m3u8_pre(episode[i], episode_name[i]))  #逐项添加协程任务，此时协程任务的函数写在这里面await asyncio.wait(tasks)                                           #执行协程函数# 得到主页面的的每一集的链接if __name__ == '__main__':t1 = datetime.datetime.now()   #记录开始时间url_main = "https://www.autonicdq.com/voddetail/4002.html"loop = asyncio.get_event_loop()         #协程的开始实例化一个loop对象loop.run_until_complete(get_html(url_main))     #在loop对象添加要完成的任务t2 = datetime.datetime.now()    #记录结束时间的print(t2 - t1)

速度比正常快了很多，虽然把协程并发数量进行了限制，但不限制，网站遭不住
注：该文章仅供学习交流