大数据 addthis hydra 九头蛇的学习 第一章
Hydra （九头蛇简介）
Hydra（九头蛇），分布式任务处理系统，由社交标签服务提供商AddThis六年前开发，现在已得到Apache的开源许可，就像Hadoop一样，只是还没有Hadoop那样的知名度和声势。Hydra的创造者称，该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理
Hydra是一个大数据存储和处理平台，由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring，是开发Web服务器窗口小部件的公司，使访问者可以通过Twitter、Facebook、Pintrest、Google+或者Instagram轻松共享他们的数据。
当AddThis开始逐渐扩大其业务时，它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统，对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求，所以它开发了Hydra。
那么，Hydra到底是什么？简而言之，它是分布式的任务处理系统，可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统，这使得它可以与ext3、ext4甚至ZFS兼容；它还具有作业/集群管理组件，可以自动为集群分配新的作业和平衡已有的作业；系统还可以自动将数据备份，并自动处理节点故障。
Hydra包括很多的组件：跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统，还有本地备份及远程备份（考虑到难以预防的节点故障）。
基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员ChrisBurroughs在他1月23日的博客中首次宣布Hydra开源，还提供了对于Hydra精辟的描述：“它摄取流数据（比如日志文件），并生成聚合树、摘要树或者数据转换树，这些树可用来探索（小型查询），作为机器学习的一部分（大型查询）、或者在网站上支持实时控制台（大量的查询）。”
Hydra最初是用以帮助AddThis解决自身问题，供内部使用，以及为网站运营商提供服务。典型的问题包括：“上个月有多少用户访问网站？”以及“网站从不同国家和浏览器获得访问量分别有多大？”
AddThis继续使用Hydra来处理其大规模的数据流量，分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么，哪些话题比较热门。社交标签服务被超过1300万的网站使用，一个月有13亿用户访问，平均每天30亿访问量产生10TB数据，现在Hydra在AddThis的上千个网络节点上运行着。
Abrams通过邮件告诉Datanami：“我们处理大型数据集已经很长时间了，Hydra一直以来对我们都非常有用，我们觉得它以独特的方式解决了分布式数据处理的问题。”
传统的Hadoop面向批处理，而Hydra可以同时支持批处理和实时流处理。Abrams说：“Hydra支持的批处理主要侧重流分析和增量数据处理，能够使用树形数据结构描述数据，对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接收数据，但它在本机文件系统上完成操作，这使其可以在Hydra上灵活地使用其他服务。”
现在Hydra已经开源，Abrams希望该软件会被更加广泛的使用，并得到更好的发展。“这将需要一些时间，但我们相信未来我们将建成一个完善的Hydra开源社区，这样AddThis和OS（开源）社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了，我们很期待Hydra社区得到进一步的发展。”
2013秋天，DougCutting，Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说：“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位，但谁又能说它会是唯一的一个大数据分布式计算平台？相信未来Hydra的发展不会令他失望，对于未来Hydra的发展，我想引用Cutting的另一句话：“天空才是极限。”
大数据 addthis hydra 九头蛇的学习 第一章相关推荐
- hydra九头蛇基本使用方法
hydra九头蛇基本使用 1.破解ssh: hydra -l 用户名 -p 密码字典 -t 线程 -vV -e ns ip ssh hydra -l 用户名 -p 密码字典 -t 线程 -o save ...
- Medusa(美杜莎)和Hydra(九头蛇)快速入门手册：01
今天主要是初步介绍一些Hydra和Medusa的分析和内容,旨在方便快速入门,这是第一部分Medusa,后面附带一些字典,之所以是写一起,我是觉得这两个都是不错的工具,不应该分开的,在这种思想下就汇总 ...
- Medusa(美杜莎)和Hydra(九头蛇)快速入门手册：02
本文是Medusa和Hydra快速入门手册的第二部分,第一部分的传送门这两篇也是后续爆破篇的一部分,至于字典,放在最后,后续会把祖传的几十G字典准备好 Hydra入门使用手册 vanHauser Th ...
- Hydra(九头蛇)工具使用
Hydra工具使用 1.Hydra简介 1.1.Hydra介绍 1.2.Hydra支持协议 1.3.Hydra下载 2.Hydra使用 2.1.Hydra基本使用方式 2.2.Hydra常用参数 2. ...
- hydra九头蛇详细教程（5分钟内快速学会）
hydra详细教程(本文的目的是使小白能一眼看懂,在5分钟之内能够直接使用hydra,在实验中更好的学习,进行大多数的破解) hydra工具介绍 hydra又名九头蛇,是一款爆破神器. 支持linux ...
- 大数据从业者必读书籍《数据仓库工具箱》-第一章笔记
第一章:数据仓库.商业智能及维度建模初步 DW/BI系统应该死扣的是业务需求. 第一章讨论的内容: DW/BI系统的业务驱动目标 发布DW/BI系统的隐喻 维度建模的相关词汇与语义 DW/BI架构的组 ...
- Hydra(九头蛇)弱口令
使用总结: 参数 -l 指定单个用户名,适合在知道用户名爆破用户名密码时使用 -L 指定多个用户名,参数值为存储用户名的文件的路径(建议为绝对路径) -p 指定单个密码,适合在知道密码爆破用户名时使用 ...
- hydra 九头蛇端口爆破
指令介绍 root@xaiSec:~# hydra -help Hydra v7.4.2(c)2012 by van Hauser / THC&David Maciejak - 仅供法律用途语 ...
- 第一课 大数据技术之Fink1.13的实战学习-部署使用和基础概念
第一课 大数据技术之Fink1.13的实战学习 文章目录 第一课 大数据技术之Fink1.13的实战学习 第一节 Fink介绍 1.1 Flink介绍背景 1.2 Flink 的应用场景 1.3 流式 ...
最新文章
- MySQL 8.0 正式版 8.0.11 发布：比 MySQL 5.7 快 2 倍
- python【蓝桥杯vip练习题库】ADV-100第二大整数
- Google回归中国对SEO们意味着什么
- python tkinter button颜色变不了_更改函数中Tkinter按钮的颜色
- python requests库的简单使用
- ACM/ICPC 2018亚洲区预选赛北京赛站网络赛 80 Days（双向队列+尺取法）
- java 中 的 字节流！
- JQuery UI 拖拽排序
- 具有InlfuxDB的Spring Boot和Micrometer第2部分：添加InfluxDB
- 七. jenkins部署springboot项目(4)-linux环境--远程调试
- onInterceptTouchEvent / onTouchEvent响应事件的详析
- 【李宏毅机器学习】04：梯度下降Gradient Descent
- 【ASP.Net MVC】AspNet Mvc一些总结
- Python3-笔记-E-012-库-JSON
- AssetPostprocessor.OnPreprocessModel
- 读书笔记：普林斯顿微积分读本
- 以管理员身份进入linux,ubuntu 以管理员身份运行程序
- 大数据Spark（一）：框架概述
- 512 排序预演_最小数置前
- JavaScript与JScript的区别