Python应用 | 我喜欢看什么美剧(一)

欢迎点击「算法与编程之美」↑关注我们！

本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。

《权利的游戏》、《天赋异禀》等耳熟能详的美剧，面对如此繁多的美剧，此时不禁会问自己，我喜欢看什么美剧呢？

这是一个非常难以回答的问题，原因在于不同的人会有不同的偏好。为了简化问题的求解，我们将尝试用Python语言进行数据分析来回答"我喜欢看什么美剧"，先限定下主题就是我自己。

为了搞明白我喜欢看什么美剧，前提是要知道目前有哪些美剧，然后才能在这些美剧中根据条件筛选出我喜欢看的。所以第一件事要做的就是采集基本的数据。

Python实现数据采集需要用到的第三方库有requests和bs4，其中requests用来处理HTTP请求，bs4中的BeautifulSoup用来解析下载的HTML代码从中得到想要的数据。

1. 安装第三方库。

利用包管理软件pip来完成第三方库的安装。

pip install requests
pip install bs4

2. 利用requests库下载HTML代码。

requsts库是一种非常方便的处理HTTP请求的第三方库，只需要一行代码就可以实现HTML网页的下载。

html = requests.get('https://www.meiju.net/search.php?searchtype=5&tid=2', verify=False).content

代码执行的结果是：

打印的就是返回的HTML代码。

3. 利用BeautifulSoup解析HTML。

有了网页的HTML代码接下来就需要从这些代码中提取需要的、有价值的信息，这个工具就是BeautifulSoup来完成。我们将从代码中提取到美剧名称、URL地址以及评分数据。

soup = BeautifulSoup(html, 'html.parser')
for item in soup.select('div.hy-video-list li > a'):   row = edict()  row.video_name = item['title']   row.video_url = item['href'] row.video_type =  i    score_tag = item.select_one('span.score')    if score_tag is not None:   row.video_score = score_tag.text   print(row)

执行结果为：

4. 批处理所有列表。

前面处理的是一页的列表，接下来利用循环处理所有的列表数据。

for i in tqdm(range(1, 112)): url = 'https://www.meiju.net/search.php?page={}&searchtype=5&tid=2'.format(i) soup = BeautifulSoup(requests.get(url, verify=False).content, 'html.parser')    for item in soup.select('div.hy-video-list li > a'):   row = edict()  row.video_name = item['title']   row.video_url = item['href'] score_tag = item.select_one('span.score')    if score_tag is not None:   row.video_score = score_tag.text   print(row)

至此便完成了网站所有美剧数据的采集，总共有美剧数量3972部。

结语

为了搞清楚"我喜欢看什么美剧"这一重大问题，提出了一种利用Python编程语言进行数据分析的方法，本文主要完成了数据分析的第一步数据采集的过程，采集了某网站所有的美剧基本信息，上面的代码可以看到目前这些数据都只是通过简单的print(row)的方式进行打印，并未进行任何数据保存，那么应该如何存储这些数据呢？

预知后事如何，欢迎持续关注。

where2go 团队

微信号：算法与编程之美

一个专注于分享算法思想的公众号！

温馨提示：点击页面下方“留言”发表评论，期待您的参与！期待您的转发！

Python应用 | 我喜欢看什么美剧(一)相关推荐

Python爬虫带你爬取美剧网站
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云,作者:哲洛不闹一直有爱看美剧的习惯,一方面锻炼一下英语听力 ...
python爬虫实战：爬取美剧网站
一直有爱看美剧的习惯,一方面锻炼一下英语听力,一方面打发一下时间.之前是能在视频网站上面在线看的,可是自从广电总局的限制令之后,进口的美剧英剧等貌似就不在像以前一样同步更新了.但是,作为一个宅diao ...
出现了！豆瓣最高9.9分，2020年最值得看的美剧！你居然还没看过？【内附资源】...
全世界只有3.14 % 的人关注了爆炸吧知识在调性普遍黄暴烧脑的美剧大流中,<This is us>没有大牌主演,没有炫酷特效,却让观众集体沦陷,被称为5年难得一见的美剧. 有人说,这 ...
python：就喜欢看你看不惯我又干不掉我的样子
今天又是被python广告支配的一天. 小编最近怀疑自己得了病,病名就是"python恐惧症".每天一打开微信,朋友圈,公众号,到处都能看到python的广告,刷刷视频,也是pyt ...
喜欢的最新美剧更新时间表，最爱《传世》了
剧集图片剧集多久更新一集?(北京时间) 主演 <罪案第六感第3季> [美国] 共 12 集开播时间:2014-04-18连载中状态:乐视网07-23 16:06更新至第6集前往 ...
android电视美剧,天天美剧电视tv版apk
天天美剧app里面收藏有大量的好看的美国电视剧和美国大片,这些都是美剧迷们的最爱看的影视,而且现在通过这款软件能够直接的看到,不需要付费会员,这样看美国影视肯定是超级过瘾的,所以如果你是喜欢看美国影视 ...
python 英语词频统计软件_为了边看美剧边学英语，我写了个字幕处理脚本
每个英语学渣(好吧,其实这个说的就是学渣本渣了)都有这样一个梦想:能够一边轻松愉快地看着美剧,一边自己的英语听力水平还能蹭蹭地往上涨.知乎上也有很多人分享了自己通过美剧练习听力的方法,比如说只开英文字 ...
python英语词频_为了边看美剧边学英语，我写了个字幕处理脚本
每个英语学渣(好吧,其实这个说的就是学渣本渣了 ‍♀️)都有这样一个梦想:能够一边轻松愉快地看着美剧,一边自己的英语听力水平还能蹭蹭地往上涨.知乎上也有很多人分享了自己通过美剧练习听力的方法,比如说只 ...
python爬虫美剧下载
阅前声明:本文旨在交流技术,尊重版权尊重原创,科学上网,不得用于违法途径,安全使用技术,因技术使用不当导致不良后果,本人概不负责目录问题起源网络分析代码示例结果展示问题起源最近想学学英语 ...

Python应用 | 我喜欢看什么美剧(一)

Python应用 | 我喜欢看什么美剧(一)相关推荐

最新文章

热门文章