MaxCompute介绍
参考官方文档系列:
https://yq.aliyun.com/articles/85595?spm=a2c4e.11153940.blogcont78108.17.46c53af60mplZf
一 什么是MaxCompute
大数据计算服务(MaxCompute,原名ODPS open data processing service)是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。
同时,DataWorks和MaxCompute关系紧密,DataWorks为MaxCompute提供了一站式的数据同步、任务开发、数据工作流开发、数据管理和数据运维等功能,详情请参见DataWorks(原大数据开发套件)。
MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB乃至PB)级别。
在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为您提供一种便捷的分析处理海量数据的手段,您可以不必关心分布式计算细节,便可达到分析大数据的目的。
MaxCompute学习路径
您可以通过MaxCompute学习路径快速了解MaxCompute的相关概念、基础操作、进阶操作等。
产品优势
- 大规模计算存储
MaxCompute适用于100GB以上规模的存储及计算需求,最大可达EB级别。
- 多种计算模型
MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。
- 强数据安全
MaxCompute已稳定支撑阿里全部离线分析业务7年以上,提供多层沙箱防护及监控。
- 低成本
与企业自建专有云相比,MaxCompute的计算存储更高效,可以降低20%-30%的采购成本。
功能概述
- 数据通道
支持批量、历史数据通道
TUNNEL是MaxCompute为您提供的数据传输服务,提供高并发的离线数据上传下载服务。支持每天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel 为您提供Java编程接口,并且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。
实时、增量数据通道
针对实时数据上传的场景,MaxCompute提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。DataHub还支持多种数据传输插件,例如Logstash、Flume、Fluentd、Sqoop等,同时支持日志服务Log Service中的投递日志到MaxCompute,进而使用DataWorks进行日志分析和挖掘。
- 计算及分析任务MaxCompute支持多种计算模型,详情如下。
- SQL:MaxCompute只能以表的形式存储数据,并对外提供了SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作,但其却能处理TB、PB级别的海量数据。
说明 - MaxCompute SQL不支持事务、索引及Update/Delete等操作。
- MaxCompute的SQL语法与Oracle、MySQL有一定差别,您无法将其他数据库中的SQL语句无缝迁移到MaxCompute上来。详情请参见与其他SQL语法的差异。
- 在使用方式上,MaxCompute SQL最快可以在分钟、乃至秒级别完成查询,无法在毫秒级别返回结果。
- MaxCompute SQL的优点是学习成本低,您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验,便可快速熟悉MaxCompute SQL的使用。
- UDF:即用户自定义函数。
MaxCompute提供了很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。
- MapReduce:MaxCompute MapReduce是MaxCompute提供的Java MapReduce编程模型,它可以简化开发流程,更为高效。您若使用MaxCompute MapReduce,需要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce为您提供Java编程接口。
- Graph:MaxCompute提供的Graph功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank、单源最短距离算法 、K-均值聚类算法等。
- SQL:MaxCompute只能以表的形式存储数据,并对外提供了SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作,但其却能处理TB、PB级别的海量数据。
- SDK
SDK是MaxCompute提供给开发者的工具包,详情请参见SDK介绍。
- 安全
MaxCompute提供了功能强大的安全服务,为您的数据安全提供保护,详情请参见安全指南。
二 发展历程
从2009年9月阿里云成立,愿景就是做运算/分享数据的第一平台。2010年4月,伴随阿里金融的贷款业务上线,ODPS正式投入生产运行。2012 年建立统一数据平台,2013年具备超大规模海量数据处理能力,2014~2015年大数据平台开始日趋成熟,2016年MaxCompute2.0诞生,成立之初的愿景正在逐步实现。
关键性里程碑
- 2010.04 ODPS正式投入生产运行,阿里金融的贷款业务上线稳定运行。
- 2013.05 ODPS公测。
- 2013.07 ODPS正式提供商业化服务,单集群规模5K台服务器多级群能力。
- 2016.09 ODPS正式更名为MaxCompute,并推出MaxCompute2.0,实现高性能,新功能,富生态。
MaxCompute介绍相关推荐
- 阿里云MaxCompute介绍
什么是MaxCompute? 大数据计算服务MaxCompute(原名ODPS)是一种快速.完全托管的EB级数据仓库解决方案. 随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行 ...
- 阿里云数仓MaxCompute存取性能调研报告,内含纯手搓SQL生成器
前言 前段时间公司给我安排了个任务,让我去测试一下阿里云DataWork下的MaxCompute的存取性能,这不,测试报告来了. MaxCompute介绍 MaxCompute(ODPS)是适用于数据 ...
- 阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)
概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
- 大数据全攻略:10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
- 阿里云数加大数据计算服务MaxCompute文章索引(持续更新201705)
概况介绍: 10年老兵带你看尽MaxCompute大数据运算挑战与实践 什么是阿里云数加大数据计算服务MaxCompute? 一分钟了解阿里云产品:大数据计算服务MaxCompute概述 数加平台如何 ...
- 阿里云大数据认证——基于阿里云数加构建企业级数据分析平台-课堂笔记
阿里云Clouder认证 六.基于阿里云数加构建企业级数据分析平台 1. 课程目标 (1) 了解数据分析的步骤和目的 (2) 熟悉数据分析平台搭建的组成部分 (3) 掌握阿里云数加不同产品及其使用场景 ...
- MaxCompute Hash Clustering介绍
背景 在MaxCompute查询中,Join是很常见的场景.例如以下Query,就是一个简单的Inner Join把t1表和t2表通过id连接起来: SELECT t1.a, t2.b FROM t1 ...
- 开箱即用的安全方案:MaxCompute数据安全方案介绍
MaxCompute 是一个支持多租户的统一大数据处理平台,不同的用户对数据安全需求不尽相同.为了满足不同租户对数据安全的灵活需求,MaxCompute 支持项目空间级别的安全配置,ProjectOw ...
- 阿里云ODPS(现名MaxCompute,原名ODPS)介绍
什么是ODPS(一) 阿里云开放数据处理服务(Open Data Processing Service,简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务. ODPS以REST API的形式 ...
最新文章
- 阅读豆丁网----基于模型的混合多目标算法的研究
- 链表问题9——复制含有随机指针节点的链表(进阶)
- 解决mantis不能上传附件问题
- 最短路算法整理 1557 热浪
- 数据结构源码笔记(C语言):英文单词按字典序排序的基数排序
- redis(7)、redis持久化
- java的CyclicBarrier使用
- MySQL笔记-ibd文件格式初步分析(仅数据块笔记)
- 接口压测之Locust
- 2022年12月最新微博新版批量删除微博博文代码_删除清空微博博文的微博批量删除代码与方法
- elasticsearch 配置 之 discovery.zen.ping.unicast.hosts
- 【193】Lumen 中文文档
- matlab表达式比未知数多,matlab求解未知数
- 【机器学习网络】神经网络与深度学习-6 深度神经网络(deep neural Networks DNN)
- 1、Swoole是什么?你可以通过swoole干些什么?
- 习惯,到底有多重要?
- FMU主板程序更新说明
- 个性二维码生成(android开发)
- Witt向量简介 §1.1:环上赋值基础
- Java 计算两个日期相减并转换成月份
热门文章
- 鼠标控制物体移动旋转缩放
- python vba sql,vba sql查询和输出 vba和python哪个实用
- 光纤传送网中CWDM光模块的特点及优势
- 23日广铁加开列车159列 深圳至潮汕方向有少量余票
- 烧写linux系统到开发板中,Mini2440烧写Linux系统
- Transformer在CV领域的优缺点
- python中fact用法_Python covariance.EllipticEnvelope方法代码示例
- Android的屏幕切换动画—左右滑动切换
- css-图片下方有空白问题解决方法
- 弱电控制强电(电子)项目--物联网工厂创业项目(智能家居核心)