MaxCompute+Dataphin企业数据中台的利器
简单粗暴的理解：Dataphin是数据中台的ETL工具，可以对各种的数据源数据进行抽取、清洗。而MaxCompute是云原生的大数据存储服务。所以这两者的结合可以完美的解决企业数据中台的需求。
什么是Dataphin
Dataphin是阿里巴巴数据中台团队研发的数据中台产品，它用于阿里集团（含蚂蚁科技）内部的数据中台建设，即它是阿里巴巴集团自己使用的数据中台产品。。
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设体系（OneData、OneEntity、OneService），集产品、技术、方法论于一体，一站式为用户提供集数据引入、规范定义、数据建模研发、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助力政府机构和企业打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，以驱动创新。
Dataphin数据同步支撑了数据上云最基础的能力，只有数据上云才有可能谈论数据中台建设和数字化转型；
Dataphin数据同步定位于数据上云的管道，集成多源异构存储中的数据，构建数据中台建设的基础原料；在数据同步的设计中，首先将多类型存储介质的元数据进行了标准化，基于这种标准化实现了前端配置的一致体验，避免填写大量的JSON文件进行同步配置的定义，简化配置操作，以提升工程师开发阶段的体验；同时，兼顾客户最终价值需求，即数据能够稳定、高效地完成传输，实现上云，因此数据同步设计的过程中也是非常关注数据同步的性能指标；
目前我们已经实现12种来源存储类型以及14种目标存储类型的支持；覆盖了当前客户使用的大多数数据源类型；同时，由于采用插件式的设计方法，对于异构数据源提供了快速扩展的能力；
按照存储类型划分，保持与DataX定义的标准一致：
- RDBMS关系型数据库
- MySQL
- SQL Server
- Oracle
- PostgreSQL
- DRDS
- Vertica
- 协议支持DB
- 数仓数据存储
- AnalyticDB（只写）
- ODPS
- Hive
- NoSQL存储
- MongoDB
- HBase
- 无结构化数据存储
- HDFS
- FTP
- ElasticSearch（只写）
Dataphin数据同步提供了强大的数据传输能力，帮助企业数据高效上云，打破数据孤岛，构建数据中台！
什么是MaxCompute
MaxCompute（ODPS）是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。
随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（TB、PB、EB）级别。MaxCompute提供离线和流式数据的接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。
MaxCompute还深度融合了阿里云如下产品：
- DataWorks
基于DataWorks实现一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
- 机器学习PAI
基于机器学习平台的算法组件实现对MaxCompute数据进行模型训练等操作。
- Quick BI
基于Quick BI对MaxCompute数据进行报表制作，实现数据可视化分析。
MaxCompute+Dataphin企业数据中台的利器相关推荐
- 阿里云智能数据构建与管理 Dataphin公测，助力企业数据中台建设
2019独角兽企业重金招聘Python工程师标准>>> 阿里云智能数据构建与管理 Dataphin (下简称"Dataphin")近日重磅上线公共云,开启智能研发 ...
- 【数据仓库】数据仓库建模方法及企业数据中台建设
一.数据仓库建模方法 每个行业有自己的模型,但是 不同行业的数据模型,在数据建模的方法上,却都有着共通的基本特点. 什么是数据模型? 数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体 ...
- 云栖大会：友盟+互联网企业数据中台，助力企业数智化转型
今年上半年,频频刷屏的"新基建"为我国的数字化整体进程提速,企业谋求数字化转型升级的需求更加迫切.加之疫情引发的企业经营的各类连锁反应,让企业更加重视运用数字化的手段来提升业务增长 ...
- 如何通过Dataphin构建数据中台新增100万用户？
欢迎来到数据中台小讲堂!这一期我们来看看,作为阿里巴巴数据中台(OneData - OneModel.OneID.OneService)方法论的产品载体,Dataphin如何帮助传统零售企业实现数字化 ...
- 再问数据中台 - 企业数据中台的团队如何构建？绩效如何评价？
数据中台是距离业务更近的能力平台,数据中台是一个需要持续运营的数据服务业务平台,所以数据中台的团队不仅仅是一个技术团队,应该将数据中台当做一个产品团队来构建,整体的结构如下: 数据中台提供两类服务: ...
- 企业数据中台解决方案PPT(附下载)
本文PPT资料获取方式 转发朋友圈截图,长按下方二维码 回复: 666 资料系网络收集,版权归原作者所有,如有侵权,请后台回复999联系删除 推荐阅读: 世界的真实格局分析,地球人类社会底层运行原理 ...
- MaxCompute Tunnel SDK数据上传利器——BufferedWriter使用指南
为什么80%的码农都做不了架构师?>>> 摘要: MaxCompute 的数据上传接口(Tunnel)定义了数据 block 的概念:一个 block 对应一个 http re ...
- 【干货分享】企业数据中台整体介绍及建设方案(文末附52页pdf下载链接)
话不多说,直接上干货,文末附52页pdf文档下载链接. 更多细节请关注公众号并回复"1113",获取下载链接. 「 更多干货,更多收获 」 推荐系统系列教程之十二:Facebook ...
- 阿里大数据产品Dataphin上线公共云，将助力更多企业构建数据中台
日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化 ...
最新文章
- Dynamics AX 2009 升级PreSynchnoize时的无反应的解决
- 程序员的岗位方向和所需技能都有哪些？
- 人脸识别最前沿在研究什么？
- python 六边形架构_通过纯css3代码实现六边形边框
- 搜索引擎利用机器学习排序
- iOS运行时-使用Runtime向Category中添加属性以及运行时介绍
- 74 岁的柳传志和 34 岁的联想
- 一人编程累，加班何人陪？1024 最好的礼物给最牛掰的你
- ImportError: cannot import name UnrewindableBodyError
- [转]Arrays.sort()你应该知道的事
- 大一java题库及答案_2016最新java考试题库及答案
- 从《天龙八部 3D》到《诛仙》手游，我们如何连续做出成功产品？
- 最详细教程：Zotero和Better BibTeX安装，以及如何在R markdown中引用文献
- WIN10下如何解决PL2303驱动不可用的问题或者com口显示黄色感叹号usb-to-serial
- python图像音频处理-通过图像傅里叶变换判断相位和幅度的重要性
- 论return 0的高级写法 bushi)
- 在12306的程序猿面前，没人敢说委屈
- java计算两个日期的月数
- JTAG (一)杂谈
- BeyondCompare4下载安装使用