python爬取微博数据存入数据库_python爬取微博并且存入数据库
由于平时喜欢刷微博,追星,所以写了想要写一个爬取微博的爬虫,在老师的建议下选择从移动端爬取,因为移动端页面元素简洁,易于爬取。在看微博时发现有比移动端更加简单的一个版本。。。。老年机版?就是分页式的。
在网上看了一些爬取微博的爬虫,采取cookie模拟登陆,cookie直接在chrome按f12选择Network点击第一个网页,再点右边的Headers–>Request Headers,赋值下面的cookie即可。百度可以很轻松的找到方法。
想清楚上面的问题后就开始分析移动端的网页构造了,经过分析源代码,发现微博总页数是一个input标签的value属性,而input标签的name属性为’mp’,这是唯一的。然后每条微博的代码块由div标签闭合,含有id属性并且class属性的值均为’c’。微博内容的标签为span,span标签的class属性的值为‘ctt’然后微博发送时间和客户端的标签为span标签,span标签的class属性的值为’ct’,这也是发送时间的代码块特有的属性值。
下面是详细代码:
import requests
from bs4 import BeautifulSoup as bs
import pymysql
# uid即进入对方微博主页后网址部分/u/后的那一串数字
uid = input('请输入所要爬取的用户id:')
url= 'https://weibo.cn/u/'+uid
cookie = '你的cookie'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie': cookie}
res = requests.get(url, headers=headers)
soup = bs(res.text, 'html.parser')
#获得微博总页数
totalPage = int(soup.find('input', attrs={'name': 'mp'}).attrs['value'])
print('总共检测到%d页微博页面' % totalPage)
#定义各列表
weibo_text=[]
weibo_images=[]
weibo_time=[]
weibo_client=[]
weibo_urlList=[]
# 每页微博的URL的列表
for i in range(totalPage):
weibo_urlList.append(url+'page='+str(i + 1)')
#遍历每页微博
for each in weibo_urlList:
r= requests.get(each , headers=headers)
soup = bs(r.text, 'html.parser')
# 每条微博所对应的标签代码块列表
weibo_tags_list = soup.find_all('div', attrs={'class': 'c'}, id=True)
for weibo_tag in weibo_tags_list:
# 获取微博发送时间
hms = weibo_tag.find_all('span', attrs={'class': 'ct'})
for each_time in hms :
weibo_time .append(each_time.text.replace('\xa0', ' ').split(' ')[0]+each_time.text.replace('\xa0', ' ').split(' ')[1])
#获取客户端
for each_client in hms :
weibo_client .append(each_time.text.replace('\xa0', ' ').split(' ')[2])
#获取微博文本内容
texts=weibo_tag.find_all('span',attrs={'class':'ctt'})
for each_text in texts :
weibo_text .append(each_text.text)
try:
#连接数据库
# conn = pymysql.connect(host='localhost', port=3306, user='root', password='root', database='weibo', charset='utf8mb4')
conn = pymysql.connect(host=' ', port=3306, user='', password='', database='weibo', charset='utf8mb4')
cursor = conn.cursor()
#创建表
cursor.execute('create table weibo_info (id INT AUTO_INCREMENT PRIMARY KEY,weibo_time VARCHAR(45),weibo_client VARCHAR (45) ,weibo_text VARCHAR(500))')
for i in range(len(weibo_time)):
cursor.execute('insert into weibo_info(weibo_time,weibo_client,weibo_text)VALUES(%s,%s,%s)',(weibo_time[i],weibo_client[i],weibo_text[i]))
cursor.fetchall()
# 提交结果
conn.commit()
print("结果已提交")
except Exception as e:
# 数据回滚
conn.rollback()
print("数据已回滚")
# 关闭数据库
conn.close()
需要注意的是数据库utf8下文字是三字节,但是emoji是四字节,微博内容有许多emoji表情,需要将编码改成utf8mb4。
在此次练习中出现了许多的问题,并且最终结果也与我初次设计的结果有一些出入,还需要改进很多,在调试过程中更是非常耗费耐心排除问题,希望以后能够再接再厉。
python爬取微博数据存入数据库_python爬取微博并且存入数据库相关推荐
- python爬微博数据合法吗_Python 免登录微博数据爬虫(仅研究使用)
微博数据是非常有价值的数据,这些数据可以用作我们进行一些系统开发时的数据源, 比如前段时间发过的:Python 短文本识别个体是否有自杀倾向,在此文中,我们使用微博绝望树洞的数据,利用SVM做了一个简 ...
- python爬网盘数据犯法吗_python爬取疫情数据的源码
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索 一.资源 为什么接下来的代码中要使用el.getElementsByTa ...
- python爬取微博数据存入数据库_Python爬取微博数据并存入mysql,excel中
寒假期间做微博数据统计,由于是部门要求,也没办法,自己又是一个懒人,直接用python实现吧.写的很粗糙,也很差,请大家别介意. 总的来说分成两个模块:一个爬取微博数据存入数据库,一个从数据库调取数据 ...
- python爬取微博数据存入数据库_Python爬取新浪微博评论数据,写入csv文件中
因为新浪微博网页版爬虫比较困难,故采取用手机网页端爬取的方式 操作步骤如下: 1. 网页版登陆新浪微博 2.打开m.weibo.cn 3.查找自己感兴趣的话题,获取对应的数据接口链接 4.获取cook ...
- python爬取新闻存入数据库_python爬取数据存入数据库
昨天本来写了一篇关于python爬取的文章,结果没通过,正好今天一起吧.用python同时实现爬取,和存入数据库,算是复习一下前面操作数据库的知识. 1.准备工作 既然是爬取,那自然要连接到爬取的页面 ...
- python爬取股票大单历史记录_python爬取股票实时数据,python爬虫与股票分析
内容导航: Q1:怎么学python爬取财经信息 本程序使用Python 2.7.6编写,扩展了Python自带的HTMLParser,自动根据预设的股票代码列表,从Yahoo Finance抓取列表 ...
- python爬虫爬微信数据可信吗_Python爬取微信,我发现了之前没发现的秘密!
技术群里一位读者微信私聊我,问我能不能统计下微信好友信息并以文件形式保存.其实,以前也写过类似的文章,一篇是微信好友性别统计,一篇是制作好友签名的词云图.比较分散,今天就索性把他们整合一下,一次性完成 ...
- python 爬虫抓取网页数据导出excel_Python爬虫|爬取起点中文网小说信息保存到Excel...
前言: 爬取起点中文网全部小说基本信息,小说名.作者.类别.连载\完结情况.简介,并将爬取的数据存储与EXCEL表中 环境:Python3.7 PyCharm Chrome浏览器 主要模块:xlwt ...
最新文章
- jsr303jsp页面怎么显示错误信息_jsp校验信息不显示
- 微信小程序 最全 生成带参数二维码
- 【遥感数字图像处理】基础知识:第五章 遥感图像增强处理方法总结
- java 多态_Java的多态
- 并发框架Disruptor
- 2017.4.16 ArrayList初始默认容量(长度)
- 计算机二级C选择题精华
- 怎么调试内存溢出的c++代码_使用jvisualvm排查一次内存溢出(OOM)过程
- [转]PhotoShop小技巧
- 数论 扩展欧几里德算法
- Pinczakko的AwardBIOS逆向工程指导
- IOS开发之——数据库-Couchbase(05)
- 2021全球程序员收入报告出炉!
- ┊非主流图片┊非主流美女┊非主流照片
- 如何选购便宜的SSL证书
- 基于UCOSII的RS485通信(STM32F107)
- 电脑两个网卡同时访问内外网,路由表设置
- MySQL如何判断不为空
- 微服务系统设计(一) -- 如何拆分服务
- 易语言制作计算机按键指令,关于易语言编写计算器的问题(完整代码!!!!!!!)
热门文章
- 照身帖、密钥,看古代人做实名认证有哪些招数?
- awk ERES 基础表达式符号介绍
- 【装修选材】自然系原木,才是空间真正的百搭之王!
- 计算机网络安全控制技术
- 怎样把图片保存为html文件,在Word中通过把编辑的图片另存为HTML文件实现转换图片...
- [香橙派]win10使用简短的cmd命令实现ssh快速登录
- 任务二:移动通信发展史
- windows defender might impact performance
- Microsoft 365 E5开发者账号25T存储空间免费领取教程
- 上半年净利由盈转亏,依赖游戏产品的汇量科技能否持续破局?