这可能是中文网上关于Twitter信息爬虫检索最全的项目了

最近因为工作需要爬虫了一段时间推特。

Twitter网站是用AJAX异步加载的，用request请求到json文件的数据url也是拒绝的

所以只能慢慢模拟浏览器下滑慢慢加载json文件咯（当然我没有用类似于selenium一类的库，效率太低）

举个例子：

我们需要爬trump的1000条推特，输入以下命令就行了

GetOldTweets3 --username "realDonaldTrump" --toptweets --maxtweets 100

爬虫结果如下（因为用windows系统需要fanqiang，所以直接在linux下使用了）

用python代码读一下csv文档（穷苦民众只能买没有图形界面的服务器）：

import csv
import pandas as pd
df=pd.read_csv("/opt/test/output_got.csv")
print(df)

再比如，我们想检索在推特上搜索 “changsha”的新闻

GetOldTweets3 --querysearch " changsha " --maxtweets 10

没什么问题，如果在windows系统下不能使用可以私信我或者应该是被墙住了吧。

优秀的程序员我觉得就是要一键和兼容，具体怎么使用看看我写的readme就行了

具体github地址如下：

Solin1998/SearchTTgithub.com

希望各位有需要的老哥可以fork我一下，谢谢！！！！

当然，情感分析，事件抽取一类的事情我也做不来，只是做了一部分原始数据的来源爬虫，

有时间应该会更新看有没有办法绕过twitter开发者账号比如爬取关注的人，多级关注等

这可能是中文网上关于Twitter信息爬虫检索最全的项目了相关推荐

计算机检索常用中文数据库,常用文献信息数据库检索指南
摘要: 本书是一部关于常用文献信息数据库检索的实用指南,在扼要介绍计算机信息检索基本原理知识的精华部分一计算机信息检索技术的基础上,重点对当前常用的一些中外文文献信息的光盘和网络数据库进行了全面系统的 ...
住哪儿网上面酒店信息爬虫源代码
import urllib.parse import urllib.request import json import time import pymysql.cursors #from datet ...
python人人贷爬虫_爬取人人贷网上部分借贷信息以及数据可视化
一.主题式网络爬虫设计方案:爬取人人贷网上部分借贷信息 1.主题式网络爬虫名称:爬取人人贷网上部分信息 2.主题式网络爬虫的内容与数据特征分析:爬取人人贷部分信息数据,借贷信息 3.主题式网络爬虫设计 ...
中国研究生招生信息网登陆服务器错误,2019考研网上报名填写信息常见问题及解决办法...
网上报名的步骤很多,需要填写的内容也很多,对于初次考研报名的考生来说总是会有些战战兢兢,生怕填错信息影响报名,为此,东湖武大考研网特意整理收集了2018年考研网上报名填写信息常见问题及解决办法,这些解 ...
Python爬虫爬取链家网上的房源信息练习
一原链接:用Python爬虫爬取链家网上的房源信息_shayebuhui_a的博客-CSDN博客_python爬取链家打开链家网页:https://sh.lianjia.com/zufang/ ...
享受中文输入，快乐信息分享 --拼音输入法所谓的经验谈
享受中文输入,快乐信息分享 --拼音输入法所谓的经验谈本文摘要:拼音输入法如果合理利用自己的语言常识,尽量回避单字,多打词语.短语或短句,把匹配工作交给输入法的词库和智能组词来做.实在避不开的单字通 ...
通过嘀咕同步Twitter信息
Twitter是一个很好的信息发布平台,有很多第三方插件可以同步Twitter发布的信息,国内也有很多微博客服务,提供同步信息到Twitter,但却没有同步Twitter回来的功能,今天发现一个新的国 ...
面向中文自然语言处理的60余类系统开源实践项目与工业探索索引
项目介绍面向中文自然语言处理的六十余类实践项目及学习索引,涵盖语言资源构建.社会计算.自然语言处理组件.知识图谱.事理图谱.知识抽取.情感分析.深度学习等几个学习主题.包括作者个人简介.学习心得.语 ...
计算机高级搜索文章内容,外文信息计算机检索
<外文信息计算机检索>由会员分享,可在线阅读,更多相关<外文信息计算机检索(88页珍藏版)>请在人人文库网上搜索. 1.外文信息计算机检索,本章内容一.四大检索系统概况及其高 ...

这可能是中文网上关于Twitter信息爬虫检索最全的项目了

这可能是中文网上关于Twitter信息爬虫检索最全的项目了相关推荐

最新文章

热门文章