我分析了55W歌词，就是想听听中国民谣在唱什么

1. 歌词获取

首先我需要一个民谣歌曲集合，选歌单的原则是尽力为选择能代表中国民谣的作品，事实上，现在民谣制作的门槛是真的低。有的民谣里面通篇就几个词翻来覆去。比如底下这种歌单很快就舍弃掉了。

（野鸡民谣）

最终选择的是歌单：民谣合集。歌单比较全，总共大概2128首歌，涉及到不少华语民谣歌手。按每人50首来算，这也有40左右个中国民谣人了

网易提供了（体验并不好的）某些API，

# 获取歌单中歌曲API url
playlist_url = 'http://music.163.com/api/playlist/detail?id=[id]'
# 获取歌曲的歌词API url
song_lyrics_url = 'http://music.163.com/api/song/lyric?os=pc&id=[id]&lv=-1'

实际请求时，请将[id]替换为真实id，比如《民谣合集》歌单id为2618345367，你可以从网易音乐相关超链接上找到。这两个API返回都是JSON格式，需要自己解析。（可以看出实际中这个#是没什么用的）

然后，我们请求获取歌单的所有歌曲信息（歌曲云上id、歌曲名、作者）

def get_playlist(playlist_id, path=''):"""获得歌单中所有歌曲的id,cloud_id,title,author信息:param playlist_id: 歌单id:param path: 保存的路径和文件名:return: text"""json_text = requests.get(playlist_url % playlist_id).textjson_dict = json.loads(json_text)text_list = []for idx, song in enumerate(json_dict['result']['tracks']):if not idx:text_list.append('id    cloud_id    title    author')text_list.append('%d    %d    %s    %s' % (idx + 1, song['id'], song['name'], song['artists'][0]['name']))text = '\n'.join(text_list)if path:with open(path, 'w') as file:file.write(text)return text

我们还需要一个函数，请求获取某首歌的歌词

def get_lyric(song_id, path=''):"""根据歌曲id获得歌曲歌词:param song_id::param path: 当前歌词被保存的路径和文件名:return:"""json_text = requests.get(song_lyrics_url % song_id).textjson_dict = json.loads(json_text)text_list = []for idx, line in enumerate(json_dict['lrc']['lyric'].split('\n')):if '作曲' in line or '作词' in line:  # 去除歌词中可能出现的作词、作曲行continueif line.strip() != '':if ']' in line:  # []内可能是时间信息，去除if line.rindex(']') + 1 != len(line):line = line[line.rindex(']') + 1:].strip()else:continueif ':' in line:  # 冒号前面可能是歌者，应去除。e.g.: "女:"、"老狼:"line = line[line.rindex(':') + 1:]if '：' in line:  # 冒号前面可能是歌者，应去除。e.g.: "女："、"老狼："line = line[line.rindex('：') + 1:]text_list.append(line.strip())text = '\n'.join(text_list)if path:with open(path, 'w') as file:file.write(text)return text

最后，我们将此歌单中所有歌曲歌词都保存下来

if __name__ == '__main__':# 获取"中国民谣集"歌单中所有歌曲歌词df = pd.read_csv(os.path.join(cfg.ProjectPath, cfg.DataDirectory, cfg.SongInfoFileName), delimiter='    ',engine='python')for idx, cloud_id, title, author in df.values:try:get_lyric(cloud_id, file_name='%d_%s_%s' % (idx, title, author))except IOError as ioe:print('id为%s,云id为%s的文件异常，%s' % (idx, cloud_id, ioe))except BaseException as be:print('id为%s,云id为%s的文件异常，%s' % (idx, cloud_id, be))

写个函数在目录里自动生成目录保存下来所有歌词

def makedir(dir_name):path = r"C:\Users\admin\PycharmProjects\Cloudlyric\data"dir_name = path+'./'+dir_namefolder = os.path.exists(dir_name)if not folder:os.makedirs(dir_name)print("creat dir success")else:print("this folder has existed")return dir_name

2.数据存储和初步简单清洗

简单的看了一下爬下来的每一个数据，发现前两行经常有不用的作词作曲信息，想办法去除掉

def ConvertStrToFile(dir_name, filename, str):if (str == ""):returnfilename = filename.replace('/', '')text_list = ""for idx, line in enumerate(str.split('\n')):if '作曲' in line or '作词' in line or '编曲' in line:  # 去除歌词中可能出现的作词、作曲行continueif line.strip() != '':if ']' in line:  # []内可能是时间信息，去除if line.rindex(']') + 1 != len(line):line = line[line.rindex(']') + 1:].strip()else:continueif ':' in line:  # 冒号前面可能是歌者，应去除。e.g.: "女:"、"老狼:"line = line[line.rindex(':') + 1:]if '：' in line:  # 冒号前面可能是歌者，应去除。e.g.: "女："、"老狼："line = line[line.rindex('：') + 1:]text_list +=line.strip()path = r"C:\Users\admin\PycharmProjects\Cloudlyric\data"with open(path+"./"+dir_name + "//" + filename + ".txt", 'w',encoding='utf-8') as f:f.write(text_list)

于是保存歌词成txt文档在最开始创建的目录里

def get_list_lyric(playlist_id):songlist = get_list(playlist_id)print(songlist)playlist_name = songlist['playlist_name']idlist = songlist['list']dir=makedir(playlist_name)for music in idlist:ConvertStrToFile(playlist_name, music.text, get_lyric(music['href']))print("File " + music.text + " is writing on the disk")print("All files have created successfully")return dir

3.数据的清洗、分词、统计

在分词前，为了最终结果得出不必要的语气词以及冗余词，我是用的是哈工大停用词表再结合结巴分词，效果好了不少

def load_stopwords():"""加载停用词:return:"""stopwords = set()with open(os.path.join(naming.ProjectPath, naming.DictDirectory, naming.StopwordsFileName),encoding='utf-8') as file:for line in file:stopwords.add(line[:-1])  # 切除换行符stopwords.add(' ')return stopwordsdef get_words_freq(stopwords, lyrics_dir):"""统计词频:param stopwords: 停用词集合:type stopwords: set(stopword1, stopword2, ...):param lyrics_dir: 歌词路径:return: {word1: freq, word2: freq, ...}"""# 迭代每个文件，对每个文件，每一行分词，去除停用词后，统计词频words_freq = {}for file_name in os.listdir(lyrics_dir):try:with open(os.path.join(lyrics_dir, file_name),encoding='utf-8') as file:for line in file:words = posseg.cut(line.strip())for word, pos in words:if word not in stopwords and pos[0] in pos_retained:  # 过滤停用词,词性筛选if word not in words_freq:words_freq[word] = 1else:words_freq[word] += 1except IOError as ioe:logger.warning('异常信息:%s' % ioe)except BaseException as be:logger.warning('异常信息:%s' % be)return words_freq

为了方便，得出的结果转为json格式，存储在data数据目录下

初步优化

发现许多地方名称、路径又多又杂。又开了一个py文件naming来设置命名规范大概是这样的

# -*- coding: utf-8 -*-
from dataGet import getData
__author__ = 'Jmh'# Project path
ProjectPath = r'C:\Users\admin\PycharmProjects\Cloudlyric'# Data directorye
DataDirectory = 'data'
LyricsDirectory = 'data/民谣合集 - 歌单 - 网易云音乐'
DictDirectory = 'data/dict'
Resource = 'resource'# File nameStopwordsFileName = 'stopwords'  # 停用词文件名

简单的数据处理后，轻易可以得出各种自己想要的数据：

4.运用WordClouD词云

此部分比较简单也就写的比较随意了，生成了两个，一个带图片蒙版一个不带

wordcloud = WordCloud(background_color='white',mask=alice_mask,max_words =1000,font_path=r"C:\\Windows\\Fonts\\STFANGSO.ttf",).fit_words(read_dict)
#生成词云（通常字体路径均设置在C:\\Windows\\Fonts\\也可自行下载）
#不加这一句显示口字形乱码  ""报错
plt.imshow(wordcloud)
plt.axis('off')
plt.show()

其中生成中文词云时，不加font_path会显示满屏幕的口字乱码

带蒙版的，需要ps去除背景且大小要合适，最大词频数控制在1000个左右

通过词云，我们大概很清晰的能看出来：民谣歌手最常出现的几个词“时间”“姑娘”“梦想”“世界”“远方”“城市”

看来民谣歌手也没有那么丧。

5.制作图表

共用到两种工具：matplot和echarts

绘制柱状图：

import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
# 创建一个点数为 8 x 6 的窗口, 并设置分辨率为 80像素/每英寸
plt.figure(figsize=(8, 6), dpi=80)# 再创建一个规格为 1 x 1 的子图
plt.subplot(1, 1, 1)# 柱子总数
N = 11
# 包含每个柱子对应值的序列
values = (75, 17, 9, 9, 2,7,6,12,7,9,25)# 包含每个柱子下标的序列
index = np.arange(N)# 柱子的宽度
width = 0.35# 绘制柱状图, 每根柱子的颜色为紫罗兰色
p2 = plt.bar(index, values, width, label="城市", color="#87CEFA")# 设置横轴标签
plt.xlabel('')
# 设置纵轴标签
plt.ylabel('次数')# 添加标题
plt.title('民谣歌手最钟爱的城市')# 添加纵横轴的刻度
plt.xticks(index, ('北京', '上海', '深圳', '成都', '苏州', '重庆','武汉','南京','青岛','郑州','兰州'))
plt.yticks(np.arange(0, 81, 10))# 添加图例
plt.legend(loc="upper right")plt.show()

民谣歌手最爱的城市是北京，其次竟然是兰州，出乎了我的意料

比起其他季节，民谣歌手更爱歌颂冬天

即是丧如民谣歌手，人还是要向前看。

民谣歌手更喜欢忧郁的蓝色