ODPS是什么?——阿里云开发者社区
摘要: ODPS(Open Data Processing Service),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
ODPS(Open Data Processing Service),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
同时,大数据开发套件和 MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,您可以参见 大数据开发套件简介 来对其进行深入了解。
MaxCompute 主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。
在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。
MaxCompute 已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。
MaxCompute 发展历程
从 2009 年 9 月阿里云成立,愿景就是做运算/分享数据第一平台;2010年4月,伴随阿里金融的贷款业务上线,ODPS 正式投入生产运行,2012 年建立统一数据平台,2013 年具备超大规模海量数据处理能力,2014~2015 年大数据平台开始日趋成熟,2016 MaxCompute 2.0 的诞生,成立之初的愿景经过一步步努力逐步实现。
关键性里程碑
2010.04 ODPS 正式投入生产运行。阿里金融的贷款业务上线稳定运行。
2013.05 ODPS 公测。
2013.07 ODPS 正式提供商业化服务,单集群规模 5K 台服务器多级群能力。
2016.09 ODPS 正式更名为 MaxCompute,并推出 2.0,实现高性能,新功能,富生态。
MaxCompute 组件
- 数据通道:
- TUNNEL:提供高并发的离线数据上传下载服务。用户可以使用 Tunnel 服务向 MaxCompute 批量上传或下载数据。MaxCompute Tunnel 仅提供 Java 编程接口供用户使用。
- 计算及分析任务:
- SQL:MaxCompute 只能以表的形式存储数据,并对外提供了 SQL 查询功能。用户可以将 MaxCompute 作为传统的数据库软件操作,但其却能处理TB、PB级别的海量数据。需要注意的是,MaxCompute SQL 不支持事务、索引及 Update/Delete 等操作,同时 MaxCompute 的 SQL 语法与 Oracle,MySQL 有一定差别,用户无法将其他数据库中的 SQL 语句无缝迁移到 MaxCompute 上来。此外,在使用方式上,MaxCompute SQL 最快可以在分钟,乃至秒级别完成查询,无法在毫秒级别返回用户结果。MaxCompute SQL 的优点是对用户的学习成本低,用户不需要了解复杂的分布式计算概念。具备数据库操作经验的用户可以快速熟悉 MaxCompute SQL 的使用。
- UDF:即用户自定义函数。MaxCompute 提供了很多 内建函数 来满足用户的计算需求,同时用户还可以通过创建自定义函数来满足不同的计算需求。
- MapReduce:MapReduce 最早是由 Google 提出的分布式数据处理模型,随后受到了业内的广泛关注,并被大量应用到各种商业场景中。在本文档中,我们会对 MapReduce 模型做简要介绍,以便于用户快速熟悉、了解该模型。使用 MaxCompute MapReduce 的用户需要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce 为用户提供 Java 编程接口。
- Graph:MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点 (Vertex) 和边 (Edge) 组成,点和边包含权值 (Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank,单源最短距离算法 ,K-均值聚类算法 等。
- SDK:提供给开发者的工具包,SDK 的相关介绍请参见 SDK介绍。
- 安全:MaxCompute 提供了功能强大的安全服务,为用户的数据安全提供保护,详情请参见 安全参考手册。
想了解更多MaxCompute相关的内容,请访问云栖社区
阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略
https://yq.aliyun.com/articles/78108
阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/
ODPS是什么?——阿里云开发者社区相关推荐
- pg数据库生成随机时间_postgresql 时区与时间函数-阿里云开发者社区
postgresql 时区与时间函数 rudygao 2016-02-03 1951浏览量 简介: --把时间戳转成epoch值 postgres=# select extract(epoch fro ...
- 博客同步至阿里云开发者社区,快来帮我涨人气吧
博客同步至阿里云开发者社区,快来帮我涨人气吧! 直达链接! 直达链接! 直达链接! 直达链接! 直达链接! https://developer.aliyun.com/profile/sijaicxpx ...
- freebsd mysql 安装_Freebsd中mysql安装及使用笔记-阿里云开发者社区
Freebsd中mysql安装及使用笔记 x3d 2009-07-31 662浏览量 简介: 1.安装 一开始连mysql的软件包在freebsd中叫什么都不知道: 依稀属于databases类,先到 ...
- 杭州内推 | 阿里云开发者社区招聘计算机视觉算法工程师(2022年毕业生)
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 阿里云 阿里巴巴集团拥有海量的图像/视频数据,强大的计算能力和巨大的市场空 ...
- mysql join 索引 无效_ORACLE MYSQL中join 字段类型不同索引失效的情况-阿里云开发者社区...
ORACLE MYSQL中join 字段类型不同索引失效的情况 重庆八怪 2016-12-29 780浏览量 简介: 关于JOIN使用不同类型的字段类型,数据库可能进行隐士转换,MYSQL ORACL ...
- db h2 数据类型_H2数据库函数及数据类型概述-阿里云开发者社区
H2数据库函数及数据类型概述 jieforest 2015-01-29 573浏览量 简介: H2数据库函数及数据类型概述 一.H2数据库常用数据类型 INT类型:对应java.lang.Intege ...
- rcs开机启动mysql_linux添加开机自启动脚本示例详解-阿里云开发者社区
linux添加开机自启动脚本示例详解 double2li 2017-04-14 1652浏览量 简介: linux下(以RedHat为范本)添加开机自启动脚本有两种方法,先来简单的;一.在/etc/r ...
- mysql double 存储_关于MYSQL中FLOAT和DOUBLE类型的存储-阿里云开发者社区
关于MYSQL中FLOAT和DOUBLE类型的存储 重庆八怪 2016-04-12 844浏览量 简介: 关于MYSQL中FLOAT和DOUBLE类型的存储 其实在单精度和双精度浮点类型存储中其存储方 ...
- a记录 mysql_[a]-和[a]相关的内容-阿里云开发者社区
HDOJ 1202 The calculation of GPA Problem Description 每学期的期末,大家都会忙于计算自己的平均成绩,这个成绩对于评奖学金是直接有关的.国外大学都是计 ...
最新文章
- 36招搞定电脑一切难题
- fastbin attack攻击中关于 malloc__hook
- oracle获取分组后的统计信息,并只要前五条
- 最详细的CentOS 6与7对比(一):常见设置对比
- VirtualBox 安装 Linux时 报错This kernel requires an X86-64 CPU,but only detected an i686 CPU错误的解决办法
- zabbix 通过import批量导入新增主机和批量删除旧的主机
- 12. Laravel 4 迁移数据填充
- RocketMQ(十五) RocketMQ如何保证消息的可靠性?
- mac上iphone4刷机与越狱(一)
- 工业数据采集网关的特点及应用场景
- linux查看ftp默认端口,linux系统如何修改ftp默认端口(图文)
- linux脚本无法执行命令,shell脚本在Windows下能执行,而Linux不能执行的原因及解决...
- 中英文论文写作指导第一部分(文题、摘要、关键字)
- matlab subs命令,Matlab中subs函数
- new与delete动态分配和释放内存
- 更新华为CCE域名证书方法
- 2019北邮计算机机试
- 抓包导出的har格式解析
- 美国名校为何青睐爱吃泡面的考生
- Tp5 实现短信发送及页面倒计时
热门文章
- HTML期末大作业 : 一个简单的音乐网站设计与实现(HTML+CSS)
- 数据结构-链表-单链表
- Ubuntu18下安装tensorflow-cpu报错‘serialized_options‘
- javaweb超级简单网上购物商城系统源码SSM框架结构
- Vue超好玩的新特性:在CSS中使用JS变量
- Before NOIP 2018
- 连不上网怎么办?试试网络连通性检测
- 奋斗吧,程序员——第十章 我生君未生,君生我已老
- 原声表格中将thead固定,tobody超出高度滚动,滚动条样式改变
- Java虚拟机 - 双亲委派机制