只需几步即可实现Python对新浪微博手机端的爬虫

新浪微博手机端地址 https://m.weibo.cn

我要爬取微博名为[“锦鲤大王”]的2019全部微博

登录微博手机端找到需要的信息

找到Request URL

找到user agent 和 cookie

每条微博的具体信息都存放在这里

之后根据上面的信息写爬虫代码，我的爬虫代码很粗糙，没有进一步完善，只是给需要的小伙伴提供一个思路

import requests
import csv
import time
import random
import jsondef spider(page_num):main_url = "https://m.weibo.cn/api/container/getIndex?uid=3641513235&luicode=10000011&" \"lfid=231093_-_selffollowed&type=uid&value=3641513235&containerid=1076033641513235"  # main_url为要爬取博主的主页地址if page_num:main_url = main_url + '&page=' + str(page_num)# 微博的分页机制是每页10条微博header = {"user-agent": "Mozilla / 5.0(X11; Linux x86_64) AppleWebKit / 537.36(KHTML, likeGecko) ""Chrome / 77.0.3865.120Safari / 537.36",}   # 设置请求头cookie = {'cookies': "输入自己微博的cookie"}try:r = requests.get(url=main_url, headers=header, cookies=cookie)r.raise_for_status()except Exception as e:print("爬取失败", e)return 0result_json = json.loads(r.content.decode('utf-8'))info_list = []  for card in result_json['data']['cards']:info_list_sub = []if card.get("mblog"):info_list_sub.append(card['mblog']['attitudes_count'])  # 获赞数info_list_sub.append(card['mblog']['comments_count'])  # 评论数info_list_sub.append(card['mblog']['reposts_count'])    # 转发数if page_num == 1:info_list_sub.append(card['mblog']['created_at'])  # 发博时间elif '2018' not in card['mblog']['created_at']:info_list_sub.append(card['mblog']['created_at'])   else:print("2019年微博爬取完毕")breakinfo_list_sub.append(card['mblog']['weibo_position'])    # 是否原创if card['mblog'].get('raw_text'):info_list_sub.append(card['mblog']['raw_text'])   # 微博内容else:info_list_sub.append(card['mblog']['text'])# if card['mblog']['source'] == '':#     info_list_sub.append(None)# else:#     info_list_sub.append(card['mblog']['source'])time.sleep(random.randint(4, 6))  # 每爬取一条微博暂停4到6秒，防反爬info_list.append(info_list_sub)else:continuereturn info_listdef save_csv(infolist):with open('/home/long/Documents/weibo2.csv', 'a+', encoding='utf_8_sig', newline='') as f:writer = csv.writer(f)writer.writerows(infolist)def main(num):for i in range(1, num+1):information = spider(i)save_csv(information)print("第%s页爬取完毕" % i)if __name__ == '__main__':main(500)   # 爬取500页

希望能对需要的小伙伴有所帮助，有问题可以在评论区找我哦

只需几步即可实现Python对新浪微博手机端的爬虫相关推荐

【DB宝4】只需2步即可拥有Oracle19c的ASM+DB环境
[DB宝4]只需2步即可拥有Oracle19c的ASM+DB环境文章目录目录一.从Docker Hub下载小麦苗上传的镜像二.创建容器三.尽情使用吧 3.1 数据库使用示例: 3.2 在外部 ...
pdf如何转word？只需两步即可完成在线pdf转word
pdf格式文档良好的阅读性以及便捷性,使得其得到了越来越广泛的使用,但是如果我们想要对其中的某些内容进行二次编辑的时候就比较不方便了,需要先将pdf转word后再使用,那么pdf如何转word呢?今天 ...
负载均衡服务器可以说虚拟机吗,配置网络负载均衡只需十步即可完成
不知道作为一名软件研发者,你配置一个网络负载均衡需要多久的时间,你是否在犹豫哪一步应该怎样做?哪一步应该怎样配置?不妨直说,小编完成这项工作只需要十步就可以完成了.如果想知道小编是怎样做到的吗?那就请 ...
android app在线商城,ECMobile：只需一步即可生成iOS或Android原生APP商城应用
App 快速开发服务已经屡见不鲜,国内有简网 App 工场.道有道.ECMobile这么简洁--你只需将一个集成过的文件夹放进ECShop(一款被广泛使用的开源 B2C 网店)安装根目录,无需任何配置 ...
android生成ios程序,ECMobile：只需一步即可生成iOS或Android原生APP商城应用
App 快速开发服务已经屡见不鲜,国内有简网 App 工场.道有道.ECMobile这么简洁--你只需将一个集成过的文件夹放进ECShop(一款被广泛使用的开源 B2C 网店)安装根目录,无需任何配置 ...
JDK安装配置-只需两步即可（附jdk安装包，win10系统）
一.JDK安装(欢迎来到Java世界) (一).下载JDK JDK:Java SE Development Kit(Java SE开发工具包) JDK版本更新太快,但是几乎没有公司直接使用最新JDK做 ...
无法启动游戏因为计算机,WeGame只需五步即可解决游戏无法启动的问题！
对于平时有事儿没事儿都爱玩游戏的小伙伴们来说,想必WeGame大家一定都不陌生.它是一款腾讯发布的游戏平台,有点类似于Steam,在WeGame游戏平台中,拥有种类繁多的游戏,比如目前比较热门的使命召 ...
stm32f103+FFT+OLED的音乐频谱制作（只需三步即可）
效果演示:FFT音乐频谱DIY STM32+OLED_哔哩哔哩_bilibili 制作过程: 1.准备材料: stm32f103核心板 1块 OLED12864显示屏 1块(SPI接口) 声音检测传感 ...
邮件服务器如何搭建？企业邮箱邮件服务器搭建只需几步即可
企业邮箱作为公司的办公工具,其邮件服务器的搭建,决定了邮件收发的稳定性和安全性,今天就给大家分享下企业邮箱邮件服务器搭建的方法,既可以节省成本也能提高邮箱性能. 一个顶级域名: 什么是企业邮箱,企业邮 ...

只需几步即可实现Python对新浪微博手机端的爬虫

只需几步即可实现Python对新浪微博手机端的爬虫相关推荐

最新文章

热门文章