python爬虫实战之b站视频下载-中

前面已经分析了b站得视频下载所用到得数据

这篇主要是说下载相关得操作。

这里是用得是开源下载工具aria2

之所以用这个下载工具来下载之因为这个工具可以跟任何语言进行交互实现下载

一.下载aria2

下载地址：https://github.com/aria2/aria2/releases

二.开启rpc服务

这里语言和aria2交互主要是通过aria2开启rpc服务来实现的

官方参考文档：https://aria2.github.io/manual/en/html/aria2c.html#rpc-interface

三.配置aria2

在开启rpc服务前先配置一下方便以后使用

首先新建一个aria2.conf文件复制下面所有的 (这里很多也是网上复制的，)

## 全局设置 ## ============================================================# 日志
#log-level=warn#log=/PATH/.aria2/aria2.log# 后台运行
daemon=true# 下载位置, 默认: 当前启动位置
dir=./Downloads# 从会话文件中读取下载任务
input-file=./aria2.session# 在Aria2退出时保存`错误/未完成`的下载任务到会话文件
save-session=./aria2.session# 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0
save-session-interval=30# 断点续传
continue=true# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16M
#disk-cache=32M#bt-tracker=udp://tracker.leechers-paradise.org:6969/announce,udp://tracker.pirateparty.gr:6969/announce,udp://tracker.cuntflaps.me:6969/announce# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc
# 预分配所需时间: none < falloc ? trunc < prealloc
# falloc和trunc则需要文件系统和内核支持
# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项
file-allocation=none# 客户端伪装
user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36# 禁用IPv6, 默认:false
#disable-ipv6=true# 其他
always-resume=true
check-integrity=true## 下载位置 ## ============================================================
# 最大同时下载任务数, 运行时可修改, 默认:5
max-concurrent-downloads=12# 同一服务器连接数, 添加时可指定, 默认:1
max-connection-per-server=5# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M
# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载
min-split-size=10M# 单个任务最大线程数, 添加时可指定, 默认:5
split=5# 整体下载速度限制, 运行时可修改, 默认:0
#max-overall-download-limit=0# 单个任务下载速度限制, 默认:0
#max-download-limit=0# 整体上传速度限制, 运行时可修改, 默认:0
#max-overall-upload-limit=0# 单个任务上传速度限制, 默认:0
#max-upload-limit=0## RPC设置 ## ============================================================
# 启用RPC, 默认:false
enable-rpc=true# 允许所有来源, 默认:false
rpc-allow-origin-all=true# 允许非外部访问, 默认:false
rpc-listen-all=true# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同
#event-poll=select# RPC监听端口, 端口被占用时可以修改, 默认:6800
rpc-listen-port=6800# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项
#rpc-secret=<TOKEN># 是否启用 RPC 服务的 SSL/TLS 加密,
# 启用加密后 RPC 服务需要使用 https 或者 wss 协议连接
#rpc-secure=true# 在 RPC 服务中启用 SSL/TLS 加密时的证书文件,
# 使用 PEM 格式时，您必须通过 --rpc-private-key 指定私钥
#rpc-certificate=/path/to/certificate.pem# 在 RPC 服务中启用 SSL/TLS 加密时的私钥文件
#rpc-private-key=/path/to/certificate.key## BT/PT下载相关 ## ============================================================
# 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true
#follow-torrent=true# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999
listen-port=51413# 单个种子最大连接数, 默认:55
#bt-max-peers=55# 打开DHT功能, PT需要禁用, 默认:true
enable-dht=true# 本地节点查找, PT需要禁用, 默认:false
bt-enable-lpd=true# 种子交换, PT需要禁用, 默认:true
enable-peer-exchange=true# 打开IPv6 DHT功能, PT需要禁用
#enable-dht6=false# DHT网络监听端口, 默认:6881-6999
#dht-listen-port=6881-6999dht-file-path=/opt/var/aria2/dht.dat
dht-file-path6=/opt/var/aria2/dht6.dat# 每个种子限速, 对少种的PT很有用, 默认:50K
#bt-request-peer-speed-limit=50K# 设置 peer id 前缀
peer-id-prefix=-TR2770-# 当种子的分享率达到这个数时, 自动停止做种, 0为一直做种, 默认:1.0
seed-ratio=0# 强制保存会话, 即使任务已经完成, 默认:false
# 较新的版本开启后会在任务完成后依然保留.aria2文件
#force-save=false# BT校验相关, 默认:true
#bt-hash-check-seed=true# 继续之前的BT任务时, 无需再次校验, 默认:false
bt-seed-unverified=true# 保存磁力链接元数据为种子文件(.torrent文件), 默认:false
bt-save-metadata=true
bt-max-open-files=16

因为在上面的配置文件中有设置aria2.session文件，所以最好在同级目录下创建一个文件命名为aria2.session

四.启动aria2 的rpc服务

命令行的方式下进入aria的目录

aria2c.exe --conf-path=./aria2.conf

这样就算开启成功了可以看到他有一个警告这里无视即可本来我们就是本机使用啥账号密码对于我们来说无意义反而还多了一些不必要的步骤可以无视

然后可以看到aria是监听在6800端口下

五.测试rpc是否可用

查看文档可知只要往6800/jsonrpc下发送消息就可以实现下载

这里可以看出来其实rpc使用的就是http post发送数据包所以我们直接使用python的request的post方式进行发包即可

这里两个窗口下面的是ipython的上面的是aria2的rpc服务窗口

当我们执行post的时候上面的窗口接收到就会开始下载，因为我这个视频太小了下的比较快这里是已经完成了的

jsonrpc中的下载基本就是这么使用的需要注意的是referer 没有这个参数可能会下载不下来

dir是保存的路径

params中第一个是视频的地址

基本要注意的就这些

总结：

上面只是说了一个method方法的使用也是最主要的下载的实现，如果集成到自己的软件里的花，还需要其他的method参数例如当前下载量总下载量等等需要其他相关配置请参考官方文档。