python程序设计期末作业_Python高级应用程序设计任务期末作业

Python高级应用程序设计任务要求

用Python实现一个面向主题的网络爬虫程序，并完成以下内容：

（注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台）

一、主题式网络爬虫设计方案（15分）

1.主题式网络爬虫名称

爬取网易云音乐歌单

2.主题式网络爬虫爬取的内容与数据特征分析

爬取网易云音乐歌单前十页歌单，说唱类型的歌单名称、歌单播放量、歌单链接、用户名称。

分析歌单播放量和歌单标题关键词

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

实现思路：使用单线程爬取，初始化信息，设置请求头部信息，获取网页资源，使用etree进行网页解析，爬取多页时刷新offset，将爬取数据保存到csv文件中。

难点：使用的翻页形式为URL的limit和offset参数，发送的get请求时froms和url的参数要一至。

二、主题页面的结构特征分析（15分）

1.主题页面的结构特

2.Htmls页面解析

3.节点（标签）查找方法与遍历方法

（必要时画出节点树结构）

三、网络爬虫程序设计（60分）

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。

1.数据爬取与采集

from urllib import parse

from lxml import etree

from urllib3 import disable_warnings

import requests

import csv

class Wangyiyun(object):

def __init__(self, **kwargs):

# 歌单的歌曲风格

self.types = kwargs['types']

# 歌单的发布类型

self.years = kwargs['years']

# 这是当前爬取的页数

self.pages = pages

# 这是请求的url参数（页数）

self.limit = 35

self.offset = 35 * self.pages - self.limit

# 这是请求的url

self.url = "https://music.163.com/discover/playlist/?"

# 设置请求头部信息(可扩展：不同的User - Agent)

def set_header(self):

self.header = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36",

"Referer": "https://music.163.com/",

"Upgrade-Insecure-Requests": '1',

}

return self.header

# 设置请求表格信息

def set_froms(self):

self.key = parse.quote(self.types)

self.froms = {

"cat": self.key,

"order": self.years,

"limit": self.limit,

"offset": self.offset,

}

return self.froms

# 解析代码，获取有用的数据

def parsing_codes(self):

page = etree.HTML(self.code)

# 标题

self.title = page.xpath('//div[@class="u-cover u-cover-1"]/a[@title]/@title')

# 作者

self.author = page.xpath('//p/a[@class="nm nm-icn f-thide s-fc3"]/text()')

# 阅读量

self.listen = page.xpath('//span[@class="nb"]/text()')

# 歌单链接

self.link = page.xpath('//div[@class="u-cover u-cover-1"]/a[@href]/@href')

# 将数据保存为csv文件

data=list(zip(self.title,self.author,self.listen,self.link))

with open('yinyue.csv','a',encoding='utf-8',newline='') as f:

writer=csv.writer(f)

#writer.writerow(header)

writer.writerows(data)

# 获取网页源代码

def get_code(self):

disable_warnings()

self.froms['cat']=self.types

disable_warnings()

self.new_url = self.url+parse.urlencode(self.froms)

self.code = requests.get(

url = self.new_url,

headers = self.header,

data = self.froms,

verify = False,

).text

# 爬取多页时刷新offset

def multi(self ,page):

self.offset = self.limit * page - self.limit

if __name__ == '__main__':

# 歌单的歌曲风格

types = "说唱"

# 歌单的发布类型:最热=hot，最新=new

years = "hot"

# 指定爬取的页数

pages = 10

# 通过pages变量爬取指定页面

music = Wangyiyun(

types = types,

years = years,

)

for i in range(pages):

page = i+1 # 因为没有第0页

music.multi(page) # 爬取多页时指定，传入当前页数，刷新offset

music.set_header() # 调用头部方法，构造请求头信息

music.set_froms() # 调用froms方法，构造froms信息

music.get_code() # 获取当前页面的源码

music.parsing_codes() # 处理源码，获取指定数据

2.对数据进行清洗和处理

import pandas as pd

#读取文件

data=pd.read_csv(r"yinyue.csv",encoding = "utf-8")

data.columns=('title','author','listen_num','link')

data

#删除没有万单位的行

data = data[data["listen_num"].str[-1] == "万"]

data

#删除万单位

data['listen_num'] = data['listen_num'].str.strip("万").apply(int)

data

#删除重复值

data=data.drop_duplicates()

data.head()

data.describe()

#按播放数量进行降序排序

data = data.sort_values('listen_num',ascending = False).head(10)

data

3.文本分析（可选）：jieba分词、wordcloud可视化

4.数据分析与可视化

（例如：数据柱形图、直方图、散点图、盒图、分布图、数据回归分析等）

import seaborn as sns

import pandas as pd

import matplotlib.pyplot as plt

import matplotlib

#绘制柱状图查看top50歌单的播放量分布

plt.hist(data['listen_num'],bins=50)

plt.show()

#绘制直方图查看播放数量的分布

sns.distplot(data['listen_num'])

sns.violinplot(data['listen_num'])

#绘制饼状图

plt.rcParams['font.sans-serif'] = ['SimHei']#解决乱码问题

df_score = data['listen_num'].value_counts() #统计评分情况

plt.title("播放数量占比图") #设置饼图标题

plt.pie(df_score.values,labels = df_score.index,autopct='%1.1f%%') #绘图#autopct表示圆里面的文本格式，在python里%操作符可用于格式化字符串操作

plt.show()

5.数据持久化

data.to_csv("./wangyiyun.csv")

四、结论（10分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？

①数据分析时爬取的数据比较乱，要经过一个连套的数据清洗。

②数据清洗对数据可视化提供了很大的方便。

③top50歌单播放量大部分集中在1000万左右。

④歌单前十页的说唱类型播放量在1000万到2000万居多。

2.对本次程序设计任务完成的情况做一个简单的小结。

在爬取数据过程中，在解析网页代码时，返回的是空列表，经过检查网页源代码，发现原来我们所提取的元素包含在标签内部，这样我们是无法直接定位的，所以必须先切换到iframe中，在爬去过程中小问题很多，到最后爬取到的数据也很“脏”，但是经过数据清洗后，还是可得到一些结论的，经过本次作业中，学习到了必须有耐心和细心，这在往后的码农生涯将会很受用。

python程序设计期末作业_Python高级应用程序设计任务期末作业相关推荐

python3应用程序代码_Python高级应用程序设计
Python高级应用程序设计任务要求用Python实现一个面向主题的网络爬虫程序,并完成以下内容: (注:每人一题,主题内容自选,所有设计内容与源代码需提交到博客园平台) 一.主题式网络爬虫设计方案 ...
python高级语言设计我是卧底_Python高级应用程序设计任务
一.主题式网络爬虫设计方案(15分) 1.主题式网络爬虫名称基于智联招聘全国python岗位数据爬虫 2.主题式网络爬虫爬取的内容与数据特征分析 2.1爬取的内容抓取来源,岗位名称,薪资,地址,工 ...
python高级应用程序课程设计_Python高级应用程序设计任务
一.主题式网络爬虫设计方案(15分) 1.主题式网络爬虫名称 <Python爬虫之国家统计局相关数据的爬取及分析> 2.主题式网络爬虫爬取的内容与数据特征分析本次爬取内容为:国家统计局( ...
python高级应用_Python高级应用程序设计任务
一.主题式网络爬虫设计方案(15分) 1.主题式网络爬虫名称关于链家泉州本地租房信息的爬虫 2.主题式网络爬虫爬取的内容与数据特征分析 2.1爬取的内容租房类型,所属区县,详细地址,房屋面积,房屋 ...
python编程设计高级_Python高级应用程序设计
一.主题式网络爬虫设计方案(15分) 1.主题式网络爬虫名称链家二手房成交信息(福州地区) 2.主题式网络爬虫爬取的内容与数据特征分析本爬虫程序爬取链家网福州二手房的成交信息,分别从户型.面积.成 ...
python设计要求_Python高级应用程序设计任务要求
import numpy as np import pandas as pd import requests as req from bs4 import BeautifulSoup from bs4 ...
python函数名词解释_python的面向对象程序设计(名词解释及实例)
类的定义 class Student: #定义类属性(类似于java的静态成员变量) country = "China" #构造函数 def __init__(self,name, ...
python简述列表特征_python高级特性简介
Python中的五种特性:切片,迭代,列表生成式,生成器,迭代器. 切片切片就相当于其他语言中的截断函数,取部分指定元素用的. L = list(range(100)) #利用切片取部分元素 pri ...
新农慕课python第四周答案_Python编程_章节测验,期末考试,慕课答案查询公众号
Python编程_章节测验,期末考试,慕课答案查询公众号更多相关问题提倡现代主义建筑的旗手有:()A.勒柯布西耶B.尼迈耶C.密斯D.格罗皮乌斯将领导协调划分为领导职能协调.组织同环境协调.组织机 ...
python数据科学实战_Python数据科学实战第三讲作业HW4
先完成作业,再看老师解答,若有不同的地方或出错之处再来修改. 作业要求: 使用auto_ins作如下分析 1.首先对loss重新编码为1/0,有数值为1,命名为loss_flag 2.对loss_fl ...

python程序设计期末作业_Python高级应用程序设计任务期末作业

python程序设计期末作业_Python高级应用程序设计任务期末作业相关推荐

最新文章

热门文章