豆瓣影评爬虫--python

from urllib import request,parse
import sys
from bs4 import BeautifulSoup# 爬豆瓣电影+影评
search_name=input("输入搜索的内容：")
content=parse.urlencode({"q":search_name})
url='https://www.douban.com/search?%s'%content+'#more'
header={'User-Agent':'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Mobile Safari/537.36' }
req=request.Request(url,headers=header)
with request.urlopen(req) as f:# print(f.read().decode())soup=BeautifulSoup(f.read(),"html.parser")for res in soup.find_all('div',class_='result'):if res.find('a')['title'] == search_name:url_1 = res.find('a')['href']req_1 = request.Request(url_1, headers=header)with request.urlopen(req_1) as f_1:soup_1 = BeautifulSoup(f_1.read(),"html.parser")all_reviews = soup_1.find('div',class_='bd movie-reviews').find_all('li')for row in all_reviews:content = row.find('p').texturl_2 = 'https://movie.douban.com/'+row.find('a')['href'][6:]req_2 = request.Request(url_2,headers=header)with request.urlopen(req_2) as f_2:soup_2 = BeautifulSoup(f_2.read(), "html.parser")content = soup_2.find('div',id='content').textreviewer = row.find('span',class_='user-name').texttitle = row.find('h3').textinfo = row.find('div',class_='info').textprint("评论者：",reviewer)print("标题：",title)print(info,)print("内容：")for index,i in enumerate(content):if index%120 == 0:print('\n')print(i, end='')print('\n\n','-----------------------------------------------------------------')break

效果图：

豆瓣影评爬虫--python相关推荐

基于lucene的豆瓣影评爬虫搜索引擎设计与实现
基于lucene的豆瓣影评爬虫搜索引擎设计利用了lucene搜索引擎技术和原生的爬虫,是个学习的好例子和做KS/BS的优秀项目项目本身是做的一个基于Lucene的垂直搜索引擎的研究与应用这个课题 ...
豆瓣影评爬虫：cutecharts数据可视化看看大家对八佰的评价如何
一.前言近期热播电影<八佰>,'1937年淞沪会战的最后一役,"八百壮士"奉命坚守上海四行仓库,以少敌多顽强抵抗四天四夜.电影<八佰>由管虎导演,是亚洲首 ...
《蚁人2》豆瓣影评爬虫+简单情感分析+词云
打算把豆瓣上的短评爬下来作为分析的素材. 然而并没有成功爬到所有的短评,一波三折,最终只爬到了500条,当然这也是豆瓣目前可见的最大数量,本文将细致分析爬虫的整个过程,并对爬到的数据加以分析,蚁小见大 ...
【爬虫】豆瓣影评爬虫使用教程
1.本爬虫需要填写你的cookies,下面讲诉如何获取cookies: 2.需要安装editcookies,安装完后打开豆瓣电影网站,然后点击editthecookies插件,复制gr_user_id ...
56 行代码，带你爬取豆瓣影评
阅读文本大概需要 4.2 分钟. (一) 今年的夏天,重庆的天气一反常态,到如今快 6 月份,天气还是非常的凉快.以前这个时候重庆早已 40° 高温,稍微在街上行走十分钟,就跟在操场跑了十圈一样,满身 ...
python 豆瓣评论数据分析_Python爬虫实战案例：豆瓣影评大数据分析报告之网页分析...
个人希望,通过这个完整的爬虫案例(预计总共4篇短文),能够让爬虫小白学会怎么做爬虫的开发,所以在高手们看来,会有很多浅显的废话,如果觉得啰嗦,可以跳过一些内容~ 上一篇文章给大家简单介绍了Python ...
通过哪吒动漫豆瓣影评，带你分析python爬虫与BeautifulSoup快速入门
久旱逢甘霖西安连着几天温度排行全国三甲,也许是<哪吒之魔童降世>的剧组买通了老天,从踩着风火轮的小朋友首映开始,就全国性的持续高温,还好今天凌晨的一场暴雨,算是将大家从中暑边缘拯救回来了 ...
python爬虫豆瓣影评的爬取cookies实现自动登录账号
python爬虫豆瓣影评的爬取cookies实现自动登录账号频繁的登录网页会让豆瓣锁定你的账号-- 网页请求使用cookies来实现的自动登录账号,这里的cookies因为涉及到账号我屏蔽了,具 ...
Python爬虫豆瓣影评
Python爬取豆瓣影评并生成词云,网上很多案例,我参考的这一篇 Python爬虫实战,具体步骤这篇文章讲解的很详细了,不过我在复现的过程中也遇到了很多问题,所以记录一下. #coding:utf-8 ...

豆瓣影评爬虫--python

豆瓣影评爬虫--python相关推荐

最新文章

热门文章