我在用Python在Twitter上做一个关于用户社交关系的研究。在

问题是“什么是最快的方式抓取某个用户的关注者信息”

我搜索了很多信息,目前正在使用Tweepy:c = tweepy.Cursor(api.followers_ids, id=centre, count=5000).items()

while True:

try:

followers_ids_list.append(c.next())

except tweepy.TweepError:

# hit rate limit, sleep for 15 minutes

time.sleep(15 * 60 + 15)

continue

之后,我使用/users/lookup根据之前获得的id查找User()对象。在

但是,这条路很慢…我想知道有没有比我现在做的更快的。在

因为我想找到用户关系,这意味着followers in depth 2是不够的。在

比如说,我有100个粉丝,而这100个粉丝有自己的200个粉丝,那么抓住这个社交网络(深度=3)所需的时间是:

(1+100+100*200)/15个电话*15分钟/60分钟=335小时=14天左右!在1个呼叫:请求我的追随者ID(100ID)

100个电话:请求100个追随者ID(100*200ID)

100*200呼叫(至少):请求100*200(关注者的关注者)用户的ID。

我能想到的另一种选择是twitter.com没有api的网站(但是,我想,这样会使我的IP或帐户被禁止在Twitter上使用…)

python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法相关推荐

  1. python推特爬虫_Tweepy1_抓取Twitter数据

    之前一直想用爬虫登陆并抓取twitter数据,试过scrapy,requests等包,都没成功,可能是我还不太熟悉的原因,不过 今天发现了一个新包tweepy,专门用于在Python中处理twitte ...

  2. python分析每月销售数据_用Python爬虫分析演唱会销售数据

    开篇先科普一下,其实广义范围来定义黄牛,做票务代理的都叫黄牛,只是要分大黄还是小黄,大黄就是大麦网,永乐,演唱会承办方这类,可以称为一级票代,小黄就是淘宝天猫,各地方票务销售点,现场蹲点叫卖的那些卖票 ...

  3. python分析b站_实战 | Python模型分析B站优质up主

    作者 | 远辰 来源 | 数据不吹牛 不管前浪还是后浪,能够浪起来的才算是好浪. 相信大家最近都被号称"浪里白条"的b站刷了不止一次屏.这次咱们先不谈价值观,主要从数据的角度,扒一 ...

  4. 用python分析拼多多_利用Python分析拼多多上卖的最热的产品, 结果出乎大多数人意料!...

    一.缘起 当然,我们先走第一步,开个头.现在,我们就从一个切面来窥探下. 二.我们获取了多少商品条目? 三.这些商品总共卖出了多少钱? 四.销售额前十的品类是哪些? 拼多多的主打品类是什么呢? 一级类 ...

  5. python分析微博粉丝_新浪微博Python SDK笔记——获取粉丝列表或关注列表 | 学步园...

    上一节中创建了一个initclient包,封装了授权的过程,通过获取的myAPIClient对象可以直接调用API接口进行微博操作,上一节中就调用了发微博的接口发了一条新微博.这一节还是直接使用ini ...

  6. python分析推特_最全多维度分析TWITTER(推特)

    Timeline主页活动 在分析版面主页,你首先可以看到的是过去三十天Twitter的一个总览图表. 接着,你就可以看到你发的推特的基本情况包括点击,喜好,回复,转发 等,你在这里可以看到你发布的最热 ...

  7. python分析nginx日志_利用python分析nginx日志

    最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...

  8. python分析每月销售数据_利用Python进行某单品销售数据分析

    本篇文章将利用Python工具对一份某商品的销售数据进行如下几个方面的分析,结合业务场景,构件常用业务指标,以从销售数据中挖掘出其潜在的商业价值,促进运营.用户消费趋势分析: 用户个体消费分析: 用户 ...

  9. python分析保险销售数据_利用python进行保险数据分析及可视化

    前言 现在数据分析在各个行业都在广泛的使用,尤其由于python语言的简便.高效性,在一些中小型企业的实际应用中逐渐替代excel公式.透视图等传统方式.网上各种博客论坛这类文章很多,但保险行业的数据 ...

最新文章

  1. java云服务器系统选择,java云服务器系统选择
  2. 生成式AI,引领AI从“换脸”到“造脸”
  3. JAVA中LinkedLockingQueue的简单使用
  4. Eclipse MyEclipse下常用快捷键介绍
  5. WGS84经纬度坐标转北京54高斯投影地方坐标流程
  6. php的符号的排序大小
  7. FLV文件格式(Z)(转载)
  8. java将字体输出成图片格式_JAVA IO流中,能否将一个字符串以图片的格式输出出来呢,即字符串显示在图片上...
  9. WEB下的excel批量导入功能
  10. 六级词汇打卡第天四天(四)
  11. javacore分析工具_线上死锁定位分析
  12. *第十三周*数据结构实践项目一【验证Prim算法】
  13. 《炬丰科技-半导体工艺》 PVA刷接触式清洗过程中超细颗粒清洗现象
  14. 赵小楼《天道》《遥远的救世主》解读(84)救主文化是什么?
  15. CSU2020期中测试题(2)WOWO爬水井
  16. 美团云苏宁云倒下了,他们却顺利突围
  17. 40个笑到抽筋的神回复,绝了!
  18. python实用案例合集
  19. altium designer芯片引脚间距规则过小
  20. 信度不达标的处理方式

热门文章

  1. linux的基础知识——TCP异常断开
  2. 智力题:64匹马8个跑道,至少需要多少轮才能挑选出最快的4匹马
  3. 第一章 计算机网络 2 组成与分类 [计算机网络笔记]
  4. AcWing--2.01背包问题
  5. java format用法_java学习常用函数之日期时间函数
  6. imp-00017 oracle2298,急,imp怪異問題,請高手協助
  7. C语言定义外部文件可使用的结构体和结构体变量
  8. 数字图像处理总结(冈萨雷斯版)
  9. python实现Trie 树+朴素匹配字符串+RK算法匹配字符串+kmp算法匹配字符串
  10. c++中求前n项和(这代码不得不让我佩服)