带你体验最新版的DataOps 大数据平台——StreamSets ControlHub,简单到让人发指
DataOps,顾名思义,其来源于DevOps的概念,提供全自动一体化的数据采集分析功能于一个篮子。 很早之前公司就有意向购买 ControlHub版本,我也因此联系了这家公司,只是很可惜,其负责人回邮件告诉我,中国境内目前并无销售渠道。而现在 Online的Beta版本已经来袭~~~,跟着我看看这个大平台的优势之所在?
1、呼之欲出的4.0版本
很早就看到StreamSets上线了 4.0的帮助,但是下载版里并没有,这让人非常好奇,StreamSets在憋什么大招呢?
是的,通过体验,我已经发现了秘密,这个版本将会打通自己的云原生关节,提供强大的下列功能:
- job 管理
- 调度Job管理
- 负载、动态扩展
- 函数片段支持
- 云化平台
- 分布式算力
- 良好的监控和用户管理
2.体验入口
StreamSets公司发起了三季度体验活动,机会难得,想尝鲜的朋友不妨一试。
2.1 注册
注册入口。
登陆需要梯子,进去后按照向导,5分钟内搭建完毕。
2.2 搭建部署脚本
2.3 拷贝部署脚本
形如:
curl -s https://dev.hub.streamsets.com/streamsets-engine-install.sh | bash -s -- --deployment-id="1b72d612-b533-48f0-966b-927b488231a7:cd534f44-cf0f-11eb-a0cd-b3e334979695" --deployment-token="eyJ0eXAiOiJKV1QiLCJhbGciOiJub25lIn0.eyJzIjoiMTBjNGFmMTdlNWIwYzUwOGM4MGZhZmY3MjI4NjAzZDZmZDIwNGY4MmMwYzliYWY2MjQ5MDZmZjdiZWM0NmMyNWI1YjA4N2Q0MGM1Mjc3Y2E4YmQ0NGQ2MThmNTI3MDI1ZGE3ZTFlMGI0NTg2OTZkNzU2M2U3MGJiZjQ5NGE0MzIiLCJ2IjoxLCJpc3MiOiJkZXYiLCJqdGkiOiI5YmFiMDk1MS1mM2JhLTQxYTYtYjk0NC00ZTE4NzVlZDEwZTciLCJvIjoiY2Q1MzRmNDQtY2YwZi0xMWViLWEwY2QtYjNlMzM0OTc5Njk1In0." --sch-url="https://dev.hub.streamsets.com"
如果你复制我的脚本,将为我增加算力引擎,可以联系我,给你开个账号体验。当然你复制的是自己生成的脚本,那就可以直接体验了。
2.4 增加算力引擎
首先我们需要一台云主机~~~
然后安装java sdk,再然后执行上面的脚本即可。
# 1.安装javasdk
yum -y install java-1.8.0-openjdk*# 2. 复制你的部署脚本
注意算力平台需要1G+内存,因此保证你的内存充足。
一路按Y即可。 4.0的StreamSet已经部署OK,并且连接到你的云平台。
2.5 检查算力引擎
点开control hub平台的Setup - Engines,应该可以开到已经增加了一台算力计算机。
3 体验管道
点开 build的管道:
打开一个可以看到如下图,每个组件的图标焕然一新,配色很舒服。
3.1 让我们建立个采集管道
拖放组件放置好,一个管道分分钟搭建而成。
3.2 版本管理
云平台提供了 Check In功能,版本的问题很好的得到了解决。
3.3 运行预览
点击小眼睛图标。
数据预览如下:
4 体验片段(函数)
以前的SDC平台没办法建立函数,这多少让我们无法复用代码。
这个片段怎么样?
4.1 新建片段
我们构建一个简单的http请求片段,如下,就好了。
是的,片段不需要 源和目标, 源和目标就是函数的入参和返回值。
4.2 调试下片段
因为没有源,调试需要选择测试源。
4.3 版本管理
关于片段,其也同样拥有版本管理。
4.4 引用片段
建立一个新管道,我们引用刚建立的片段函数。
好嗨呀!
5 job
新加入的Job 就是这前简单运行管道的升级版。
监视信息很齐全。
5.1 建立job
5.2 建立调度Job
有了调度job,小伙伴还在发愁无法定期启动管道吗?
6 数据和算力监控
7 用户管理
告别简单用户管理,这里增加了常用的 用户、组、审计、api 认证Key等
8 小结
小伙伴是不是已经惊呆了?
给力的集成平台,是我们心中想的样子!
运行期间,并不需要梯子,运行超级流畅。 目前是Beta期间,也许后续会收费,希望不太贵。
喜欢,就点下关注、收藏!你的点击就是我前进的动力!
带你体验最新版的DataOps 大数据平台——StreamSets ControlHub,简单到让人发指相关推荐
- 【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere
WeDataSphere 公众号回复"2022WDS年中大会"获取讲师分享材料 点击"阅读原文"可查看完整视频 8月27日下午,2022 WeDataSpher ...
- 基于 DataOps 的运营商大数据平台探索
摘要:在数字经济时代下,数据成为运营商的核心资产,DataOps是释放数据价值的有效模式,而大数据平台是实现DataOps的技术基础.通过对DataOps与大数据平台的发展进行梳理,阐述了DataOp ...
- 网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。...
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
- 网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
- 大数据核心技术与应用实战峰会(下):六专家带你探秘各企业内的大数据实践...
5月13日-15日,由全球最大中文IT社区CSDN主办的"2016中国云计算技术大会"(Cloud Computing Technology Conference 2016,简称C ...
- 十年磨一剑!SACC带你领略企业大数据平台实践优化!
[IT168 评论]十余年来,企业架构经过了数次迭代和变迁,ITPUB是这一切的重要见证者,同样陪伴了无数架构师的成长.10月17日,第十届中国系统架构师大会以"十年架构,成长之路" ...
- 搭建旅游大数据平台,打造全域旅游新体验
我国旅游产业正处于高速发展的黄金期,预计到2020年,我国旅游市场总规模将达到67亿人次.为了更好地满足如此庞大的出行群体的需求,提升旅游业的信息化服务能力,国务院日前正式发布了<"十 ...
- 比Hadoop快至少10倍的物联网大数据平台,我把它开源了
作者 | 陶建辉 转载自爱倒腾的程序员(ID: taosdata) 导读:7月12日,涛思数据的TDengine物联网大数据平台宣布正式开源.涛思数据希望尽最大努力打造开发者社区,维护这个开源的商业模 ...
- 昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟 以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发 ...
最新文章
- java 泛型 恶心_Java的泛型原来这样让人不舒服
- Spring Security 实战干货:OAuth2第三方授权初体验
- linux安装软件不同用户名密码,Linux的安装和基本命令
- 项目启动时socket自动启动_spring boot 项目在启动时调用接口
- 2021年云安全威胁预测,懂网络安全的无需恐慌
- 休眠事实:了解刷新操作顺序很重要
- 如果你人生的第一目标是赚钱
- 同期两篇 Nature:运行温度高于 1K 的量子计算平台问世!
- zabbix常见配置集合
- 程序人生,程序猿要把编程一直学习下去吗?
- pxe安装linux系统工具,Linux的PXE自动化无人值守安装系统
- 涂鸦蓝牙SDK开发系列教程——4.烧录授权
- 洛谷试炼场---提高历练地
- 大数据常见专有名词解释
- WebApp实时开源框架Clouda入门使用与记录
- IGBT的双脉冲测试实验
- 医院在线预约挂号系统 jsp+mysql+maven
- 二维数组 Arrays
- 用docker在linux上安装qq和微信
- svg常用元素和属性