摘要： ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

同时，大数据开发套件和 MaxCompute关系紧密，大数据开发套件为 MaxCompute 提供了一站式的数据同步，任务开发，数据工作流开发，数据管理和数据运维等功能，您可以参见大数据开发套件简介来对其进行深入了解。

MaxCompute 主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。

在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。MaxCompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节，从而达到分析大数据的目的。

MaxCompute 已经在阿里巴巴集团内部得到大规模应用，例如：大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。

MaxCompute 发展历程

从 2009 年 9 月阿里云成立，愿景就是做运算/分享数据第一平台；2010年4月，伴随阿里金融的贷款业务上线，ODPS 正式投入生产运行，2012 年建立统一数据平台，2013 年具备超大规模海量数据处理能力，2014~2015 年大数据平台开始日趋成熟，2016 MaxCompute 2.0 的诞生，成立之初的愿景经过一步步努力逐步实现。

关键性里程碑

2010.04 ODPS 正式投入生产运行。阿里金融的贷款业务上线稳定运行。
2013.05 ODPS 公测。
2013.07 ODPS 正式提供商业化服务，单集群规模 5K 台服务器多级群能力。
2016.09 ODPS 正式更名为 MaxCompute，并推出 2.0，实现高性能，新功能，富生态。

MaxCompute 组件

数据通道：
- TUNNEL：提供高并发的离线数据上传下载服务。用户可以使用 Tunnel 服务向 MaxCompute 批量上传或下载数据。MaxCompute Tunnel 仅提供 Java 编程接口供用户使用。
计算及分析任务：
- SQL：MaxCompute 只能以表的形式存储数据，并对外提供了 SQL 查询功能。用户可以将 MaxCompute 作为传统的数据库软件操作，但其却能处理TB、PB级别的海量数据。需要注意的是，MaxCompute SQL 不支持事务、索引及 Update/Delete 等操作，同时 MaxCompute 的 SQL 语法与 Oracle，MySQL 有一定差别，用户无法将其他数据库中的 SQL 语句无缝迁移到 MaxCompute 上来。此外，在使用方式上，MaxCompute SQL 最快可以在分钟，乃至秒级别完成查询，无法在毫秒级别返回用户结果。MaxCompute SQL 的优点是对用户的学习成本低，用户不需要了解复杂的分布式计算概念。具备数据库操作经验的用户可以快速熟悉 MaxCompute SQL 的使用。
- UDF：即用户自定义函数。MaxCompute 提供了很多内建函数来满足用户的计算需求，同时用户还可以通过创建自定义函数来满足不同的计算需求。
- MapReduce：MapReduce 最早是由 Google 提出的分布式数据处理模型，随后受到了业内的广泛关注，并被大量应用到各种商业场景中。在本文档中，我们会对 MapReduce 模型做简要介绍，以便于用户快速熟悉、了解该模型。使用 MaxCompute MapReduce 的用户需要对分布式计算概念有基本了解，并有相对应的编程经验。MaxCompute MapReduce 为用户提供 Java 编程接口。
- Graph：MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点 (Vertex) 和边 (Edge) 组成，点和边包含权值 (Value)。通过迭代对图进行编辑、演化，最终求解出结果，典型应用：PageRank，单源最短距离算法，K-均值聚类算法等。
SDK：提供给开发者的工具包，SDK 的相关介绍请参见 SDK介绍。
安全：MaxCompute 提供了功能强大的安全服务，为用户的数据安全提供保护，详情请参见安全参考手册。

想了解更多MaxCompute相关的内容，请访问云栖社区

阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略

https://yq.aliyun.com/articles/78108

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

转载网址:

https://yq.aliyun.com/articles/149536?utm_content=m_27095

阿里的odps是什么?相关推荐

python连接阿里云odps
怎么下载他的库这个就自行百度了,配置完毕之后就用以下代码即可用python连接阿里云odps的数据库了. from odps import ODPS o = ODPS('嘿嘿嘿', #这个地方是阿里云 ...
python学习之路：python连接阿里云ODPS
python学习之路:python连接阿里云ODPS 前言本人最近在学习使用ODPS,希望把学习过程记录下来,方便自己查阅. 1.安装ODPS pip install ODPS 2.连接阿里云odp ...
数据引擎-阿里的ODPS大规模计算引擎
ODPS开放数据处理服务是阿里的大规模分布式数据处理服务,注意这个是目前不开源的产品. 产品定位 RDS(Relational Database Service)是云平台的商业关系型数据库,适合小规模 ...
阿里云ODPS（现名MaxCompute，原名ODPS）介绍
什么是ODPS(一) 阿里云开放数据处理服务(Open Data Processing Service,简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务. ODPS以REST API的形式 ...
阿里云发布大数据产品ODPS 6小时处理100PB数据
阿里云发布大数据产品ODPS 6小时处理100PB数据阿里云发布ODPS 可分析PB级海量数据新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公 ...
解析阿里云大数据服务——ODPS
摘要:基于飞天的ODPS,对内是阿里集团30多个事业部唯一的大数据处理平台:对外,以RESTful API对外提供数据仓库.数据挖掘和其他数据应用服务.阿里云总裁王文彬为之站场,称其为"中国 ...
阿里飞猪个性化搜索排序探索实践
导读:旅行类商品 ( 如机票.火车票.汽车票 ) 相对实物电商更加标品,用户决策因素更加单一,而行业内大多基于简单规则排序,如时间.价格或业务逻辑加权,难以满足用户的个性化出行需求.飞猪在过去一段时间 ...
数梦工场联手阿里云推出大数据一体机
本文讲的是数梦工场联手阿里云推出大数据一体机[IT168 云计算]8月19日消息,作为全球领先的云计算和大数据场景化开发与服务提供商,数梦工场依托阿里云"飞天"大规模分布式计算系 ...
阿里天池大数据之移动推荐算法大赛总结及代码全公布
移动推荐算法比赛已经结束了一个多星期了,现在写一篇文章来回顾一下自己的参赛历程. 首先,对不了解这个比赛的同学们介绍一下这个比赛(引用自官网): 赛题简介 2014年是阿里巴巴集团移动电商业务快速发展 ...

阿里的odps是什么?

MaxCompute 发展历程

MaxCompute 组件

阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略

https://yq.aliyun.com/articles/78108

阿里的odps是什么?相关推荐

最新文章

热门文章