趣头条大数据部技术专栏

公司和团队介绍

1. 趣头条2年上市Nasdaq，目前市值35亿美金。2019年用户日活还会翻几倍。

2. 大数据团队主要职责：大数据系统运维，大数据系统平台开发。

3. 大数据集群规模：2000台高配机器，数据量～50PB。

4. 扁平组织架构，要做的事情很多，人人都是leader

5. 技术氛围浓厚

我们的技术栈

1. 大数据系统技术栈：HDFS/YARN/Hive/Spark/Presto，Kafka/Flink/ES/Cassandra/HBase

2. 大数据平台组件：元数据管理，跨集群数据管理，数据生命周期管理，数据质量管理，离线任务调度平台，实时任务管理平台，资源监控报警，实时数据流管理，等等

趣头条大数据部技术专栏相关推荐

作者：姜春宇（1987-），男，中国信息通信研究院移动互联网与大数据部工程师，数据中心联盟大数据技术与产品工作组组长。...
姜春宇(1987-),男,中国信息通信研究院移动互联网与大数据部工程师,数据中心联盟大数据技术与产品工作组组长.主要研究方向为大数据技术体系,从事大数据技术和产品的标准化工作,牵头建立了国内首个大数据 ...
作者：钱岭（1972-），男，博士，中移（苏州）软件技术有限公司大数据部高级工程师、总经理。...
钱岭(1972-),男,博士,中移(苏州)软件技术有限公司大数据部高级工程师.总经理,专注大数据产品规划.研发和应用全流程.软件过程改进等,曾获得中国通信学会科学技术奖二等奖,出版<敏捷开发知识 ...
谈谈对 Canal（增量数据订阅与消费）的理解--大数据平台技术栈系列(3)
之前说了,大数据平台技术栈 (可点击查看),今天就来说说其中的Cannal 来源:朱小厮, blog.csdn.net/u013256816/article/details/52475190 概述 c ...
海洋大数据关键技术及在灾害天气下船舶行为预测上的应用
海洋大数据关键技术及在灾害天气下船舶行为预测上的应用王冬海,卢峰,方晓蓉,郭刚中电科海洋信息技术研究院有限公司,北京 100041 摘要:随着海洋数据量的爆炸式增长,海洋大数据受到越来越多的关注. ...
作者：魏凯（1981-），男，中国信息通信研究院移动互联网与大数据部高级工程师、副主任。...
魏凯(1981-),男,中国信息通信研究院移动互联网与大数据部高级工程师.副主任,数据中心联盟大数据发展促进委员会常务副主任委员.主要研究方向为云计算和大数据相关技术.标准和政策,参与<促进大数 ...
大数据 - 大数据开发技术课程总结（未完）
1.课程介绍大数据开发课程主要从了解大数据概念.特征开始,再介绍大数据Java开发和Hadoop的环境配置,较为全面地讲解了HDFS分布式存储,MapReduce分布式计算框架,Spark平台开发和 ...
【华为内部狂转的想象力惊人的好文】趣谈大数据
趣谈大数据一.大数据的初步理解似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇. 首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据 ...
“2013大数据全球技术峰会”，我在现场（4月26日）！
期待已久的"2013大数据全球技术峰会"终于开幕了! 今天早晨7:30就到达了会议现场-北京富力万丽酒店(CBD),首先拿着门票到签到处换取会议唯一指定凭证-胸牌!并领取了参会资料 ...
大数据应用技术课程教学改革与实践
点击上方蓝字关注我们大数据应用技术课程教学改革与实践夏大文1,2, 王林1,2, 张乾1,2, 魏嘉银1,2, 冯夫健1,2, 李华青3,4 1 贵州民族大学数据科学与信息工程学院,贵州贵阳 5 ...

趣头条大数据部技术专栏

趣头条大数据部技术专栏相关推荐

最新文章

热门文章

趣头条 大数据部 技术专栏

趣头条 大数据部 技术专栏相关推荐

最新文章

热门文章

趣头条大数据部技术专栏

趣头条大数据部技术专栏相关推荐