CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

雷锋网(公众号：雷锋网)按：本文根据黄宜华在 CNCC 2016 大数据高峰论坛上所做的报告《基于内存的统一分布式存储系统 Alluxio 及其应用》编辑整理而来，在未改变原意的基础上略有删减。文末有福利。

黄宜华，博士，教授，博导，南京大学 PASA 大数据技术实验室负责人。主要研究领域为大数据并行处理、多核并行计算、云计算、Web信息挖掘集成、语义分析挖掘、中文信息处理、以及计算机应用。目前担任中国计算机学会大数据专家委员会委员、副秘书长，江苏省计算机学会大数据专家委员会主任，江苏省计算机学会云计算专业委员会副主任。

Alluxio 简介

Alluxio（之前名为 Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。

在大数据生态系统中，Alluxio 介于计算框架(如 Apache Spark，Apache MapReduce，Apache Flink)和现有的存储系统（如 Amazon S3，OpenStack Swift，GlusterFS，HDFS， Ceph，OSS）之间。 Alluxio 为大数据软件栈带来了显著的性能提升。用户可以以独立集群方式(如Amazon EC2)运行Alluxio，也可以从Apache Mesos或Apache YARN上启动Alluxio。

Alluxio 与 Hadoop是兼容的。这意味着已有的Spark和MapReduce程序可以不修改代码直接在 Alluxio上运行。Alluxio 是一个已在多家公司部署的开源项目(Apache License 2.0)。

Alluxio 是发展最快的开源大数据项目之一。自 2013 年 4 月开源以来，已有超过 100 个组织机构的 250 多贡献者参与到 Alluxio 的开发中。包括阿里巴巴, Alluxio, 百度, 卡内基梅隆大学，IBM，Intel, 南京大学, Red Hat，UC Berkeley和 Yahoo。Alluxio 处于伯克利数据分析栈(BDAS)的存储层，也是 Fedora 发行版的一部分。

系统框架与工作原理

| 系统架构

| 文件组织

| 读写行为

| 容错机制

重要特性与适用场景

| 文件系统接口

| 世系关系

| 键值存储库

| 分层存储

| 更多底层存储系统

| 统一命名空间

| 与计算框架相结合

| Web 界面

| 安全性适用场景

| 配置项设置

| 度量指标系统

实际应用案例介绍

| Barclays 银行

| 百度查询系统

| 去哪儿网大数据留处理系统

| 华泰证券行情数据回放系统

中文文档和国内镜像社区

福利：扫下方二维码，关注 AI 科技评论公众号，后台回复“Alluxio”得现场高清PPT。

本文作者：陈杨英杰

本文转自雷锋网禁止二次转载，原文链接

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用相关推荐

作者：黄宜华，南京大学计算机系教授、博士生导师，中国计算机学会大数据专家委员会委员、副秘书长。...
黄宜华,男,博士,南京大学计算机系教授.博士生导师,中国计算机学会大数据专家委员会委员.副秘书长,江苏省计算机学会大数据专家委员会主任,CCF高级会员,南京大学PASA大数据技术实验室学术带头人.主要 ...
CNCC 2016 | 山世光：深度化的人脸检测与识别技术—进展与展望
雷锋网(公众号:雷锋网)按:本文根据山世光在 CNCC 2016 可视媒体计算论坛上所做的报告<深度化的人脸检测与识别技术:进展与问题>编辑整理而来,在未改变原意的基础上略有删减. 山世光 ...
南京大学计算机系黄皓教授讲义优秀课程,南京大学计算机系研究生课程文库.doc...
文档介绍: 南京大学计算机系研究生课程文库.doc南京大学计算机系硕士研究生授课计划及课程表计划安排课程名称课程编号学分周学时修读人数合班上课课师名任教姓备注合计讲课上网****题专业年级人数硕士生英 ...
华中科技大学计算机徐永兵,ACS Nano报道王学锋教授、徐永兵教授、张荣教授团队在拓扑自旋电子器件领域的重要进展。...
近日,南京大学电子科学与工程学院王学锋教授.徐永兵教授.张荣教授团队在拓扑自旋电子器件领域取得新进展,通过引入非磁元素掺杂而诱导拓扑绝缘体发生拓扑量子相变,测量到了奇异的三轴各向异性磁电阻,并研制出新 ...
这名“业余”程序员，曾用50张1080Ti对抗癌症！！！
转载自微信公众号:差评(chaping321) 大家好,我是播妞,今天想给大家分享一位"业余"程序员的故事. " 这才是程序员该有的样子! " " 楼 ...
南京大学计算机学院袁健,袁健（南京大学大气科学学院教授）_百度百科
袁健 (南京大学大气科学学院教授) 语音编辑锁定讨论上传视频袁健,男,博士,南京大学大气科学学院教授. 中文名袁健[1] 毕业院校美国华盛顿大学学位/学历博士专业方向大气科学任职 ...
AI：2020年6月21日北京智源大会演讲分享之09:20-09:40黄铁军教授《智源进展报告》
AI:2020年6月21日北京智源大会演讲分享之09:20-09:40黄铁军教授<智源进展报告> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教授,博主受益匪浅,此文章为博主在聆听各 ...
【数字化】数字化工厂的框架与落地实践；50张图解读数字化制造
数字化工厂正在闪现迷人的色彩,制造业正在被其光芒所吸引.然而辉光之中,很多企业也被各种相互矛盾和相互纠缠的概念所混淆,大家都渴望自己拥有一个洞开一切的神器.而数字化工厂,的确是一道有着清晰轨迹的光路, ...
CNCC 2016 | 中科院谭铁牛：大数据时代的模式识别
编者注:谭铁牛现为中国科学院副院长.中科院自动化所智能感知与计算研究中心主任,他是中国科学院院士.英国皇家工程院外籍院士.发展中国家科学院(TWAS)院士.巴西科学院通讯院士.中国图像图形学学会理事长 ...

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用相关推荐

最新文章

热门文章