python爬取豫剧音乐下载链接

IT Xiao Ang Zai 8月19号

版本：python3.64

编程软件：pycharm

接下来要学习网络爬虫了，那里面的东西是非常神奇的，平时我也有一些小爱好，比如听戏，谈到听戏的话，不如就先给大家展示一下一个简单的爬取豫剧的代码：

先运行如下代码：


import urllib.request
import re
from bs4 import BeautifulSoupdef main():url = "http://www.xiquwenhua.net/yuju/"response = urllib.request.urlopen(url)html = response.read()soup = BeautifulSoup(html,"html.parser")for each in soup.find_all(href=re.compile("/xiqudaquan/yuju/xiazai")):print(each)if __name__ == "__main__":main()

这时候我们会发现，根据网页源码，会爬取下来如下信息：

接下来我们要进入第二链接，该怎样做呢。由于这里只是简单介绍，故我们由之前的基础知识来改代码。可以先把这些作为字符串写入文件再切片得到所需内容。加入如下语句：

for each in soup.find_all(href=re.compile("/xiqudaquan/yuju/xiazai")):print(each)with open("E:\\my.text","a+") as f:f.write(str(each)[9:42])f.write("\n")

效果如下：

我们显然需要去重，这时候就需要另写一个文件了，方法略过，最后得到文件如下：

再对比网页即可得到第二链接地址：

然后我们由如下代码得到最终的下载链接：

a = [5810,6268,5832,6278,6277,6271,6274,6273,6272,6270,6269,6267]for i in range(len(a)):url2 = "http://www.xiquwenhua.net/xiqudaquan/yuju/xiazai/%d.html" % a[i]response2 = urllib.request.urlopen(url2)html2 = response2.read()soup2 = BeautifulSoup(html2,"html.parser")for each2 in soup2.find_all(href=re.compile("pan.baidu.com")):print(each2)

效果如下：

爬取百度链接的加密密码这里就不讲解了，方法类似。

python爬取豫剧音乐下载链接相关推荐

python爬取qq音乐歌曲链接为什么播放不出来_手把手教你使用Python抓取QQ音乐数据（第一弹）...
原标题:手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. ...
python爬取qq音乐周杰伦_Python爬取QQ音乐url及批量下载
QQ音乐还是有不少的好音乐,有些时候想要下载好听的音乐,如果在网页下载都是还需要登录什么的.于是,来了个QQmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元素所在url吧. 参考 ...
Python爬取QQ音乐url及批量下载
QQ音乐还是有不少的好音乐,有些时候想要下载好听的音乐,如果在网页下载都是还需要登录什么的.于是,来了个QQmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元素所在url吧. 参考 ...
python爬取QQ音乐免费歌曲 2020.7.26
python爬取qq音乐免费歌曲 2020.7.26 目标分析获取音乐列表 1.浏览器网络请求追踪 2.寻找音乐列表解析qq音乐 1.下载连接组成 2.获取vkey 3.获取sign参数关系图 ...
python爬取qq音乐标签_Python爬取qq音乐的过程实例
一.前言 qq music上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的.于是,来了个qqmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元 ...
用python爬取阳光电影的链接
用python爬取阳光电影的链接,并存入文本.把链接直接复制到迅雷软件即可下载电影,方便快捷.python代码如下: # -*- encoding: utf-8 -*- ""&qu ...
爬虫学习（一）---爬取电影天堂下载链接
欢迎加入python学习交流群 667279387 爬虫学习爬虫学习(一)-爬取电影天堂下载链接爬虫学习(二)–爬取360应用市场app信息主要利用了python3.5 requests,Bea ...
我用Python爬取了难下载的电子教材（内附代码）
我用Python爬取了难下载的电子教材(内附代码) 第一次在CSDN上面分享经历,有点激动.本大二狗最近这段时间去不了学校又想看教材,不巧学习通上面的部分内容老师设置了不可下载啊.好在最近学习了一点P ...
python爬取落网音乐
任务爬取"落网音乐"下载至本地(源码自己敲) 课前准备工具:python 2.7,PyCharm 类库:Requests,BeautifulSoup4,os 注意: Beaut ...

python爬取豫剧音乐下载链接

python爬取豫剧音乐下载链接相关推荐

最新文章

热门文章