python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法
我在用Python在Twitter上做一个关于用户社交关系的研究。在
问题是“什么是最快的方式抓取某个用户的关注者信息”
我搜索了很多信息,目前正在使用Tweepy:c = tweepy.Cursor(api.followers_ids, id=centre, count=5000).items()
while True:
try:
followers_ids_list.append(c.next())
except tweepy.TweepError:
# hit rate limit, sleep for 15 minutes
time.sleep(15 * 60 + 15)
continue
之后,我使用/users/lookup根据之前获得的id查找User()对象。在
但是,这条路很慢…我想知道有没有比我现在做的更快的。在
因为我想找到用户关系,这意味着followers in depth 2是不够的。在
比如说,我有100个粉丝,而这100个粉丝有自己的200个粉丝,那么抓住这个社交网络(深度=3)所需的时间是:
(1+100+100*200)/15个电话*15分钟/60分钟=335小时=14天左右!在1个呼叫:请求我的追随者ID(100ID)
100个电话:请求100个追随者ID(100*200ID)
100*200呼叫(至少):请求100*200(关注者的关注者)用户的ID。
我能想到的另一种选择是twitter.com没有api的网站(但是,我想,这样会使我的IP或帐户被禁止在Twitter上使用…)
python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法相关推荐
- python推特爬虫_Tweepy1_抓取Twitter数据
之前一直想用爬虫登陆并抓取twitter数据,试过scrapy,requests等包,都没成功,可能是我还不太熟悉的原因,不过 今天发现了一个新包tweepy,专门用于在Python中处理twitte ...
- python分析每月销售数据_用Python爬虫分析演唱会销售数据
开篇先科普一下,其实广义范围来定义黄牛,做票务代理的都叫黄牛,只是要分大黄还是小黄,大黄就是大麦网,永乐,演唱会承办方这类,可以称为一级票代,小黄就是淘宝天猫,各地方票务销售点,现场蹲点叫卖的那些卖票 ...
- python分析b站_实战 | Python模型分析B站优质up主
作者 | 远辰 来源 | 数据不吹牛 不管前浪还是后浪,能够浪起来的才算是好浪. 相信大家最近都被号称"浪里白条"的b站刷了不止一次屏.这次咱们先不谈价值观,主要从数据的角度,扒一 ...
- 用python分析拼多多_利用Python分析拼多多上卖的最热的产品, 结果出乎大多数人意料!...
一.缘起 当然,我们先走第一步,开个头.现在,我们就从一个切面来窥探下. 二.我们获取了多少商品条目? 三.这些商品总共卖出了多少钱? 四.销售额前十的品类是哪些? 拼多多的主打品类是什么呢? 一级类 ...
- python分析微博粉丝_新浪微博Python SDK笔记——获取粉丝列表或关注列表 | 学步园...
上一节中创建了一个initclient包,封装了授权的过程,通过获取的myAPIClient对象可以直接调用API接口进行微博操作,上一节中就调用了发微博的接口发了一条新微博.这一节还是直接使用ini ...
- python分析推特_最全多维度分析TWITTER(推特)
Timeline主页活动 在分析版面主页,你首先可以看到的是过去三十天Twitter的一个总览图表. 接着,你就可以看到你发的推特的基本情况包括点击,喜好,回复,转发 等,你在这里可以看到你发布的最热 ...
- python分析nginx日志_利用python分析nginx日志
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
- python分析每月销售数据_利用Python进行某单品销售数据分析
本篇文章将利用Python工具对一份某商品的销售数据进行如下几个方面的分析,结合业务场景,构件常用业务指标,以从销售数据中挖掘出其潜在的商业价值,促进运营.用户消费趋势分析: 用户个体消费分析: 用户 ...
- python分析保险销售数据_利用python进行保险数据分析及可视化
前言 现在数据分析在各个行业都在广泛的使用,尤其由于python语言的简便.高效性,在一些中小型企业的实际应用中逐渐替代excel公式.透视图等传统方式.网上各种博客论坛这类文章很多,但保险行业的数据 ...
最新文章
- java云服务器系统选择,java云服务器系统选择
- 生成式AI,引领AI从“换脸”到“造脸”
- JAVA中LinkedLockingQueue的简单使用
- Eclipse MyEclipse下常用快捷键介绍
- WGS84经纬度坐标转北京54高斯投影地方坐标流程
- php的符号的排序大小
- FLV文件格式(Z)(转载)
- java将字体输出成图片格式_JAVA IO流中,能否将一个字符串以图片的格式输出出来呢,即字符串显示在图片上...
- WEB下的excel批量导入功能
- 六级词汇打卡第天四天(四)
- javacore分析工具_线上死锁定位分析
- *第十三周*数据结构实践项目一【验证Prim算法】
- 《炬丰科技-半导体工艺》 PVA刷接触式清洗过程中超细颗粒清洗现象
- 赵小楼《天道》《遥远的救世主》解读(84)救主文化是什么?
- CSU2020期中测试题(2)WOWO爬水井
- 美团云苏宁云倒下了,他们却顺利突围
- 40个笑到抽筋的神回复,绝了!
- python实用案例合集
- altium designer芯片引脚间距规则过小
- 信度不达标的处理方式
热门文章
- linux的基础知识——TCP异常断开
- 智力题:64匹马8个跑道,至少需要多少轮才能挑选出最快的4匹马
- 第一章 计算机网络 2 组成与分类 [计算机网络笔记]
- AcWing--2.01背包问题
- java format用法_java学习常用函数之日期时间函数
- imp-00017 oracle2298,急,imp怪異問題,請高手協助
- C语言定义外部文件可使用的结构体和结构体变量
- 数字图像处理总结(冈萨雷斯版)
- python实现Trie 树+朴素匹配字符串+RK算法匹配字符串+kmp算法匹配字符串
- c++中求前n项和(这代码不得不让我佩服)