GitHub上有哪些优秀的爬虫项目?
1
写在前面的话
今天JAP君给大家安利一波福利!GitHub上优秀的爬虫项目大集合!!!大家赶快收藏一波!
2
福利开始喽!
1. Anti-Anti-Spider
地址:https://github.com/luyishisi/Anti-Anti-Spider
很全面的反爬虫项目大全:
1:验证码 {亚马逊验证码破解,knn,svm,Tensorflow自动生成验证码并大量训练从而破解--98%成功率}
2:代理 {抓取西刺代理,以及一个高可用的国外代理网站,并存入数据库,从而随时调用}
3:代码模板 {多线程优化,百度地图可视化采集,聚焦爬虫,selenium模拟登陆,域名爬虫}
5:爬虫项目源码 {优酷网,腾讯视频,推特,拉钩网,百度地图,妹子图网,百家号,百度百科,csdn,新浪微博, 淘宝采集}
6:ip更换技术 {代理,tor,adsl}
7:请求伪造 {phantomjs,requests,selenium}
8:phantomjs {伪造请求头,获取页面截图,获取页面源码,设置超时}
9:selenium {伪造请求头,支付宝模拟登陆}
10:UrlSpider {项目中常用的采集代码样本,经过多线程数据库操作优化,最高速度6kw/d}
2. awesome-spider
网址:https://github.com/facert/awesome-spider
这是一个id为facert的知乎工程师开源的项目,目前见过最详细最多的爬虫案例大全了,真的值得大家去学习一波!
3. Nyspider
网址:https://github.com/Nyloner/Nyspider
这是ID为Nyloner的一个今日头条的工程师弄的,star1000+,风格与上面的项目大有不同。
可以看出,都是各类网址,和本人的工作有关。
4. awesome-python-login-model
网址://github.com/CriseLYJ/awesome-python-login-model
这是ID为CriseLYJ(职业不详)的用户,这个项目用于模拟各种网址登陆,也包含一些简单的爬虫,star6000+。
5. python-spider
网址:https://github.com/Jack-Cherish/python-spider
这是ID为Jack-Cherish的东北大学的一个学生整理的学习python爬虫的资料,star6000+,包含不少的实战项目,非常适合想学习的朋友。
6. Google,Baidu,Bing三大搜素引擎图片爬虫
网址:https://github.com/sczhengyabin/Image-Downloader
这个爬虫足够满足小型项目初始数据集的积累,结果命名也非常整齐规范,最大的优点是稳定。
3
END
想要更快的提升自己的爬虫技术,单单把基本的知识学完是远远不够的,而是要多去实战,这些案例非常的优秀,大家都可以按照他们的写法去写一遍,这样更有利于大家爬虫技术的提升!
如果你觉得这篇文章对你有所帮助,可以点击右下角的“在看”或者你也可以给JAP君加个小鸡腿!JAVAandPython君---一个坚持原创技术文章输出的公众号!
GitHub上有哪些优秀的爬虫项目?相关推荐
- 3月份Github上最热门的Python开源项目
3月份GitHub上最热门的Python开源项目排行已经出炉啦,一起来看看上榜详情吧. 1. manim https://github.com/3b1b/manim Star 19308 数学图形可视 ...
- python京东抢购 github_11月份GitHub上最热门的Python开源项目
11月份GitHub上最热门的Python开源项目排行已经出炉啦,一起来看看上榜详情吧: 1. tinygrad https://github.com/geohot/tinygrad Star 324 ...
- 如何快速在GitHub上找到感兴趣的开源项目
/ /前段时间公司的版本管理系统从SVN切换到GIT,熟悉了GIT后又对GIT的生态作了一下了解,发现对于软件开发人员或对科技感兴趣的人来说,GitHub可以说是打开世界的一把金钥匙.GitHub是一 ...
- github流程图_10月份Github上最热门的JavaScript开源项目
开源最前线(ID:OpenSourceTop) 猿妹整编 转载请注明来源作者 10 月份 GitHub 上最热门的JavaScript开源项目排行已经出炉啦,在本月的名单中,有开源书籍.有开源课程等, ...
- github java开源项目经验_10月份Github上最热门的Java开源项目
10 月份 GitHub 上最热门的Java开源项目排行已经出炉啦,在本月的名单中,实战项目类居多,当然也有像JavaGuide这样学习指南类项目,下面就是本月上榜的10个开源项目: 1.Java(S ...
- 案例 github_2019年12月Github上最热门的Java开源项目,速来围观!
转眼之间,已经进入了2020年,2019年发生的一切仿佛就在昨天.那么,刚过去不久的12月份GitHub上最热门的Java开源项目排行已经出炉啦.下面我带大家一起来看看上榜详情: 1.Alink ht ...
- 2018年12月份GitHub上最热门的Java开源项目
2018年12月份GitHub上最热门的Java开源项目 又到了公布 GitHub 上热门项目的时候啦~在 12 月的排行中,现在,一起来看看这些项目你使用过哪些呢? JavaGuide https: ...
- Github上关于iOS的各种开源项目集合(强烈建议大家收藏,查看,总有一款你需要)(转载)
下拉刷新 EGOTableViewPullRefresh - 最早的下拉刷新控件. SVPullToRefresh - 下拉刷新控件. MJRefresh - 仅需一行代码就可以为UITableVie ...
- Github上关于iOS的各种开源项目集合(强烈建议大家收藏,查看,总有一款你需要)...
下拉刷新 EGOTableViewPullRefresh - 最早的下拉刷新控件. SVPullToRefresh - 下拉刷新控件. MJRefresh - 仅需一行代码就可以为UITableVie ...
最新文章
- 读书笔记2013第10本:《学得少却考得好Learn More Study Less》
- extract进程 oracle,ogg extract进程stoped问题
- python求一元三次方程的根_初中数学专题复习-方程与方程组
- 【全网最全的博客美化系列教程】08.自定义地址栏Logo
- Bailian2709 求出e的值【数列求和】(POJ NOI0105-35)
- mysql 异步同步_MySQL主从复制异步半同步实例
- 通过手机号码编码传送信息的想法
- [POI2012]STU-Well(二分答案+神仙操作)
- PG数据库 创建自增序列 创建序列 查询序列 使用序列
- php 获取扩展模块信息,查看PHP opcode扩展模块及Web服务
- 天天学JAVA-JAVA基础(3)
- kiss原则包括什么_kiss是什么意思(kiss原则包括什么)
- linux下的ktime_t timeval timespec
- Java JDK 1.8 新特性 Stream流
- Springboot+freemarker的宿舍寝室维修上报管理系统源码
- Java stream流式计算详解
- 电脑蓝屏出现一堆英文的解决方法
- IDEA正则表达式高级替换
- 大龄程序员肉翻记录【一】
- 游戏开发经典样例 | web html5 吃豆人游戏