国内开发者开源爬虫工具箱爆红 GitHub
点击上方“逆锋起笔”,公众号回复 PDF
领取大佬们推荐的学习资料
开源最前线(ID:OpenSourceTop) 猿妹整编
转载请注明来源作者
国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider,一不小心就火了!!!
有多火呢?开源没几天就登上GitHub周榜第四,标星1.3K,累计分支 172 个(GitHub地址:https://github.com/kangvcar/InfoSpider)
在这样一个信息爆炸的时代,每个人都有很多个账号,账号一多就会出现这么一个情况:个人数据分散在各种各样的公司之间,就会形成数据孤岛,多维数据无法融合,这个项目可以帮你将多维数据进行融合并对个人数据进行分析,这样你就可以更直观、深入了解自己的信息。
InfoSpider 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。
目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。
根据创建者介绍,InfoSpider 具有以下特性:
安全可靠:本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。
使用简单:提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。
结构清晰:本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。
数据源丰富:本项目目前支持多达24+个数据源,持续更新。
数据格式统一:爬取的所有数据都将存储为json格式,方便后期数据分析。
个人数据丰富:本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。
数据分析:本项目提供个人数据的可视化分析,目前仅部分支持。
InfoSpider使用起来也非常简单,你只需要安装python3和Chrome浏览器,运行 python3 main.py,在打开的窗口点击数据源按钮, 根据提示选择数据保存路径,接着输入账号密码,就会自动爬取数据,根据下载的目录就可以查看爬下来的数据。
是不是很简单呢,如果你对InfoSpider也感兴趣,赶紧试一下。
谷歌的这个开源项目霸榜 Github 第一,我服了!
提高 Github下载速度到 2MB/s
GitHub 上值得收藏的 100 个精选前端项目!
一款 GitHub 代码泄露监控系统,为企业安全保驾护航!
点赞+在看,小编感恩大家❤️
国内开发者开源爬虫工具箱爆红 GitHub相关推荐
- 一款爆红的开源爬虫工具箱
来自:开源最前线(ID:OpenSourceTop) 国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱--InfoSpider,一不小心就火了!!! 有多火呢?开源没几天就登上 ...
- GitHub超级火!任意爬取,超全开源爬虫工具箱
文 | 程序员GitHub 最近国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱--InfoSpider,一不小心就火了!!! 有多火呢?开源没几天就登上GitHub周榜第四, ...
- GitHub 超级火:超全开源爬虫工具箱!
" 阅读本文大概需要 3 分钟. " 转载来源 公众号:GitHub中文社区 作者:huber 最近国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱--I ...
- GitHub最最最火的开源爬虫工具箱,一爬就取
作者 | 夕小瑶的卖萌屋 编辑 | SF 来源 | GitHub爱好者社区 现在一般网站都有反爬虫机制,对于爱爬虫的朋友来说,想爬虫些数据,做下数据分析.是越来越难了.不过最近我们,发现一个超宝藏的爬 ...
- 任意爬取!超全开源爬虫工具箱
点击上方"一行数据",选择"置顶星标"公众号 干货福利,第一时间送达 大家好,我是一行! 今天分享的文章是一位一位开发者在 GitHub 上开源了个集众多数据源 ...
- 超全开源 Python 爬虫工具箱,走到哪里爬到哪里
开源最前线 .数据管道综合整理 最近国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱--InfoSpider,一不小心就火了!!! 有多火呢?开源没几天就登上GitHub周榜第 ...
- Pipcook 1.0开源!前端开发者的机器学习工具箱
先来为大家介绍一下 Pipcook ,它是淘系技术部 FX Team 研发的一款面向前端开发者的机器学习工具箱. 希望大家在阅读后,能够了解到 Pipcook 现在已经做了哪些,后面想要做什么?Pip ...
- 除了GitHub,国内开发者常用的代码托管工具盘点
贸易战带来的不安彷佛随着时间的流逝而冲淡了,但是相信大家没有忘记,2020年,哈工大以及不少科研单位陆续发现其购买的正版 MATLAB 软件无法使用,这款软件一直以来都是中国工科学生和研究单位绘制论文 ...
- 【码云周刊第 3 期】来自国内开发者的实战项目,开源让通讯从未如此简单!...
为什么80%的码农都做不了架构师?>>> 类型:即时通讯 "小时候,乡愁是一枚小小的邮票,我在这头,母亲在那头-- " 春节将至,思乡心切,小一情不自禁的想 ...
最新文章
- Centos7安装Miniconda及配置jupyter
- 使用matplotlib,同时在多个figure画图
- 谷歌开源 Python 代码漏洞查找工具 Atheris
- [Visual Studio] 重置默认设置 还原默认设置
- 第61篇 笔记-Go 基础
- java运用kmeans算法进行聚类
- Clustalx 多重序列比对图解教程(By Raindy)
- 关于checkbox的removeClass属性
- 使用大白菜U盘重装系统
- android n进入分屏代码分析_Android分屏多窗口的实践代码
- Cannot create PoolableConnectionFactory (Access denied for user 'root'@'localhos
- 能自动摊铺施工的公路滑模机多少钱一台
- WindowsXP支持最多64G内存的工具震撼登场
- 手机黑屏,但是按开机键有震动,能进系统,usb也能识别fastboot和rec(bl已解)
- java窗体中添加图片_在java窗体程序中添加图片的方法
- 五笔字典编码--------------_
- ctfshow SQL注入Web171-174
- Time Out“全球超酷街区”榜单新鲜出炉
- 中国AI发展报告2018:中国AI专利全球第一,高水平论文最多
- 使用Java开发人脸融合(换军装等)并接入微信小程序