爬取微博全部一级评论（简单有效）

要爬取的

import  requests,json
from lxml import etree
import xlwt
wookbook=xlwt.Workbook(encoding='utf-8')
sheet=wookbook.add_sheet('sheet',cell_overwrite_ok=True)
sheet.write(0,0,'昵称')
sheet.write(0,1,'时间')
sheet.write(0,2,'评论内容')headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0','Cookie': 'UOR=cq.people.com.cn,widget.weibo.com,www.baidu.com; SINAGLOBAL=8820348664023.912.1574510643668; ULV=1574590616135:2:2:1:2609036048862.229.1574590616131:1574510643676; SUB=_2AkMqha9xf8NxqwJRmfwRzWvgbYlxygvEieKc2V6qJRMxHRl-yT9jqmI_tRB6AQWBniAs_6LTl13APpmM6HFRJNr8korC; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WhdwXUpZQU.RZS.ObOYcheW; login_sid_t=f7428b2bac48ff3272a6ca1a7f371494; cross_origin_proto=SSL; Ugrow-G0=589da022062e21d675f389ce54f2eae7; TC-V5-G0=799b73639653e51a6d82fb007f218b2f; WBStorage=42212210b087ca50|undefined; _s_tentry=www.baidu.com; Apache=2609036048862.229.1574590616131; wb_view_log=1366*7681; YF-Page-G0=aac25801fada32565f5c5e59c7bd227b|1574591169|1574591031; YF-V5-G0=2583080cfb7221db1341f7a137b6762e; TC-Page-G0=b32a5183aa64e96302acd8febeb88ce4|1574590842|1574590826'
}def get_furl():flag=1url1='https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4430885656881201&from=singleWeiBo&page=1'txt=requests.get(url1,headers=headers).textcnt=1while flag==1:html=json.loads(txt)['data']['html']html=etree.HTML(html)# 得到该评论源码的所有评论uls = html.xpath('//div[@class="list_con"]')for ul in uls:user = ul.xpath('./div[@class="WB_text"]/a/text()')[0]comment = ul.xpath('./div[@class="WB_text"]/text()')[1]# 去除中文冒号：comment = comment.split('：', maxsplit=1)[-1]tim = ul.xpath('./div[contains(@class,"WB_func")]/div[contains(@class,"WB_from")]/text()')[0]user_url = 'https:' + ul.xpath('./div[@class="WB_text"]/a/@href')[0]print(user)sheet.write(cnt,0,user)print(comment)sheet.write(cnt,2,comment)print(tim)sheet.write(cnt,1,tim)cnt+=1try:net_url=html.xpath('//div[@node-type="comment_loading"]/@action-data')[0]except:try:net_url=html.xpath('//a/@action-data')[-1]except:print(cnt)# print('*'*25)wookbook.save('微博.xlsx')exit()print(net_url)url1='https://weibo.com/aj/v6/comment/big?ajwvr=6&'+net_url+'&from=singleWeiBo&__rnd=1574942088520'txt = requests.get(url1, headers=headers).textprint(url1)return  html
if __name__=='__main__':s=requests.Session()data=get_furl()

结果保存到excel如图所示

爬取微博全部一级评论（简单有效）相关推荐

python爬取“微博”移动端评论数据
目的爬取微博移动端的评论数据(如下图),然后将数据保存到.txt文件和.xlsl文件中. 实现过程实现的方法很简单,就是模拟浏览器发送ajax请求,然后获取后端传过来的json数据. 一.找到获取 ...
scrapy多cookies+ip代理稳定爬取微博m站评论以及子评论
为了以后的深度学习可以爬取更多更好的语料以及其他资源,先拿weibo移动端试了下手(果然一进就全是坑-) 1.分析weibo登陆以获取cookies 1)预请求获取服务器信息 2)构建请求登陆url ...
python爬取微博评论超100页_python爬取新浪微博评论-Go语言中文社区
简介爬取微博m站评论.由于api限制只能爬取前100页,如果想要更全数据需爬pc端. 工具 python 3.5 requests库 re库步骤 1. 登陆保存cookie 首先,打开m.weib ...
从零到一学爬虫-爬取微博热搜示例
爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求,得到响应,然后将响应的信息进行打印. 当我们直接打开浏览器,输入https://s.weibo.com/top/summary, ...
简单爬取微博评论详细解析，学习爬取ajax异步数据交换动态网页
爬取微博评论详细解析,学习爬取ajax异步数据交换动态网页 1.什么是ajax异步数据交换网页 2.用到的工具模块和简单解释 3.网页内容解析 4.代码实现及解释 1.什么是ajax异步数据交换网页 ...
如何使用python简单的爬取微博搜索的内容
UI界面输入关键词用python爬取微博内容第一步:创建main.py文件,用来作为主类. 在main.py文件中进行以下操作. 一.程序入口,明白接下来进行的操作 1.加载UI界面. 2.爬取网页 ...
看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云
简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...
python爬取微博恶评_Python爬取新浪微博评论数据，了解一下？
开发工具 **Python版本:**3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装 ...
ajax将数据显示在class为content的标签中_python爬取微博评论（无重复数据）
python爬取微博评论(无重复数据) 前言一.整体思路二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址三.获取主评论四.获取子评论 1.解析子评论2.获 ...

爬取微博全部一级评论（简单有效）

爬取微博全部一级评论（简单有效）相关推荐

最新文章

热门文章