爬取豆瓣音乐top250

爬取豆瓣音乐并写入excel

from urllib.request import urlopen,Request
from bs4 import BeautifulSoup
import time
import xlwt
titles=[]
time_list=[]
attribute_list=[]
zhuanji_list=[]
score=[]
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
workbook=xlwt.Workbook(encoding='utf-8')
worksheet=workbook.add_sheet("豆瓣音乐top250")
def updateurl(url,headers):ret=Request(url,headers=headers)html=urlopen(ret)bs=BeautifulSoup(html,"html.parser")return bs
for i in range(0,11):time.sleep(1)url="https://music.douban.com/top250?start={}".format(i*25)bs=updateurl(url,headers)title=bs.find("div",{"id":"wrapper"})for tt in title.find_all("a",{'class':'nbg'}):titles.append(tt.find('img')['alt'])for aa in title.find_all("p",{'class':'pl'}):att=aa.get_text().split("/")time_list.append(att[1])attribute_list.append(att[-2])try:zhuanji_list.append(att[-1])except:zhuanji_list.append(" ")for yy in title.find_all("span",{'class':'rating_nums'}):score.append(yy.get_text())# print(score)
worksheet.write(0,0,label='作曲者+音乐名')
worksheet.write(0,1,label='发行时间')
worksheet.write(0,2,label='属性名')
worksheet.write(0,3,label='类型')
worksheet.write(0,4,label='评分')
for d in range(0,len(titles)):worksheet.write(d+1,0,label=titles[d])worksheet.write(d+1,1,label=time_list[d])worksheet.write(d + 1, 2, label=attribute_list[d])worksheet.write(d + 1, 3, label=zhuanji_list[d])worksheet.write(d + 1, 4, label=score[d])
workbook.save('豆瓣音乐top250.xls')

爬取豆瓣音乐top250相关推荐

Python爬虫学习之爬取豆瓣音乐Top250存入Excel表格中
前言目标网站:https://music.douban.com/top250 任务: 爬取豆瓣音乐Top250的歌曲名爬取豆瓣音乐Top250的歌曲对应的表演者.发行时间和音乐流派(分别对应下图斜 ...
爬虫练习-爬取豆瓣音乐TOP250的数据
前言: 爬取豆瓣音乐TOP250的数据,并将爬取的数据存储于MongoDB中本文为整理代码,梳理思路,验证代码有效性--2020.1.1 环境: Python3(Anaconda3) PyCharm ...
python实例豆瓣音乐代码_Python爬虫实战（3）-爬取豆瓣音乐Top250数据（超详细
前言首先我们先来回忆一下上两篇爬虫实战文章: 第一篇:讲到了requests和bs4和一些网页基本操作. 第二篇:用到了正则表达式-re模块今天我们用lxml库和xpath语法来爬虫实战. 1.安 ...
利用python爬取豆瓣音乐_Python爬虫小白入门（七）爬取豆瓣音乐top250
抓取目标: 豆瓣音乐top250的歌名.作者(专辑).评分和歌曲链接使用工具: requests + lxml + xpath. 我认为这种工具组合是最适合初学者的,requests比python自 ...
爬取豆瓣音乐TOP250并写入Excel
爬取豆瓣音乐写入Excel from urllib.request import Request, urlopen import bs4 import requests import re impor ...
爬取豆瓣音乐TOP250数据保存到csv文件和xls文件
爬取的目标网址:https://music.douban.com/top250 利用lxml库,获取前10页的信息,需要爬取的信息包括歌曲名.表演者.流派.发行时间.评分和评论人数,把这些信息存到cs ...
python爬取音乐_Python现学现用xpath爬取豆瓣音乐
昨天说了Requests库,今天来上手爬虫了. 爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方 ...
案例：爬取豆瓣电影Top250中的电影信息
案例:爬取豆瓣电影Top250中的电影信息豆瓣电影Top250首页分析请求地址在豆瓣电影Top250首页的底部可以确定电影信息一共有10页内容,每页25个电影信息,如下图: 切换页面,可以看到浏 ...
Python爬虫：现学现用xpath爬取豆瓣音乐
爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方式的对比. 这样一比较我我选择了Lxml(xpa ...

爬取豆瓣音乐top250

爬取豆瓣音乐并写入excel

爬取豆瓣音乐top250相关推荐

最新文章

热门文章