手把手教你使用Python网络爬虫获取音效信息

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

一腔热血勤珍重，洒去犹能化碧涛。

/1 前言/

生活中到处有各种各样的声音。在做网页时，没有声音的网页显得没有灵魂，特别是游戏网页，没有声音就体会不了其中精彩的打斗效果，会感到特别的无趣。

/2 项目目标/

今天教大家如何用Python网络爬虫去获取音效。

/3 项目准备/

软件：PyCharm

需要的库：requests、lxml、ssl

网站如下：

https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html

/4 项目分析/

1、如何找到音效地址？

F12右键检查，找到对应的音效的地址，出现登录画面直接叉掉就可以了。

2、如何多网页访问？

观察网址的变化（一般取前三页）：

https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_1.htmlhttps://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_2.htmlhttps://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_3.html

发现点击下一页时，zonghe_0_0_0_0_0_0{}每增加一页自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

3、如何解除ssl验证？

因为这个网址是https，需要导入一个ssl模块，忽略ssl验证。

4、如何获取Cookie？

右键检查,找到NetWork，随便复制一个Cookie即可：

/5 项目实现/

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下所示。

import requests
from lxml import etree
from fake_useragent import UserAgent
import sslclass  Panda(object):def __init__(self):passdef main(self):passif __name__ == '__main__':imageSpider =  Panda()imageSpider.main()

2、导入网址和构造请求头。

 self.url = "https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html" #/zhuanchang/:搜索的名字的拼音缩写self.headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}

3、发送请求获取响应, 页面回调，方便下次请求。

    def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html

4、xpath解析页面数据。

这里我们先获取父节点，在通过for循环遍历，找到对应的子节点（音效地址）。

one = parse_html.xpath('//div[@class="b-box"]//dl')for li in one:lis_imges = li.xpath(".//audio//source/@src")[0].strip()who = li.xpath(".//dt//a/text()")[0].strip()

‍

获取到后，发现地址表示完整的地址，需要对网站进行补全，获取真正访问的地址。

 mp3 = "https:" + lis_imges

5、运行的结果，如下图所示：

6、对音效地址发生请求，获取对应音效a标签的text()作为命名，写入文件。

dirname = "./音效/" + who + '.mp3'
html2 = requests.get(url=mp3, headers=self.headers).content
with open(dirname, 'wb') as f:f.write(html2)print("\n%s下载成功" % who))

7、调用方法，实现功能。

html = self.get_page(url)
self.parse_page(html)

/6 效果展示/

1、点击绿色小三角运行输入起始页，终止页，如1和2，获取1页信息即可。

2、运行程序后，结果显示在控制台，如下图所示。

3、将运行结果保存在本地，如下图所示。

4、双击文件，即可播放。

/7 小结/

1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

2、本文基于Python网络爬虫，利用爬虫库，解除登录限制下载音效，存入文档。

3、按照步骤去实现，实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。

4、希望通过这个项目能够了解到，对于HTTPS网站，解除ssl验证的有大致的了解。

5、如果需要本文源码的话，请在公众号后台回复“音效”两个字进行获取，觉得不错，记得给个star噢。

------------------- End -------------------

往期精彩文章推荐：

手把手用Python教你如何发现隐藏wifi
手把手教你用Python做个可视化的“剪刀石头布”小游戏
手把手教你使用Python批量创建复工证明

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~