资深大数据/AI专家:大数据知识图谱-实战经验总结
作为数据科学家,我想把行业最新知识图谱总结并分享给技术专家们,让大数据知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等技术日益融合,成为全球最热的战略性技术,给大数据从业者带来了前所未有的发展机遇,同时也对大数据工程师提出了高标准的技能要求。大数据具有海量性、多样性、高速性和易变性等特点,映射到大数据平台建设要求,不仅要具备海量数据采集、并行存储、灵活转发、高效调用和智能分析的通用Paas服务能力,而且能快速孵化出各种新型的Saas应用的能力。要实现这个目标,架构设计至少要满足三个总体技术要求:一是把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的云平台架构,运用经典设计原则和设计模式的架构之美,吸纳业内主流分布式技术的思想精髓,深耕主流平台服务模式到现代微架构的演变内涵;二是用系统架构设计和微服务建设思想武装团队,持续撰写多维度的架构蓝图,推动团队协同作战;三是围绕大数据全栈技术体系解决项目实战中的各类难题,制定主流技术规范和设计标准,通过平台核心组件方式快速迭代出新型业务。从设计要求来讲,大数据平台服务的整体设计要具备全面、全局、权衡的关键技术要求,不仅能全面提炼国内外优秀架构和解决方案的精华,而且要理解分布式技术的底层设计思想;不仅能全局了解上下游技术生态和业务结合的设计过程,而且要游刃有余的处理系统功能和性能问题;不仅能权衡新技术引入和改造旧系统的成本估算,而且要推动作战团队轻松驾驭新技术。
第一个总体技术要求:把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的创新云平台架构,运用经典设计原则和设计模式的架构之美,吸纳业内主流分布式技术的思想精髓,深耕主流平台服务模式到现代微架构的演变内涵。
第二个总体技术要求:用系统架构设计和微服务建设思想武装团队,持续撰写多维度的架构蓝图,推动团队协同作战。架构师不仅要具备大型云平台架构的实战经验之外,更要有大智慧和战略思维,通过蓝图来推动和管理好每一个产品的全生命周期。
第三个总体技术要求:围绕大数据全栈技术体系解决项目实战中的各类难题,制定主流技术规范和设计标准,通过平台核心组件方式快速迭代出新型业务。针对设计规范的重要性,我们不妨用《孙子兵法》的大智慧来分析一下。
从系统整体技术能力出发,提出物联网大数据平台的八个通用微服务的技术要求,包括大数据的高并发采集服务、灵活分发服务、高可扩展海量存储服务、高并发展海量存储服务、高可靠海量存储服务、自定义迁移服务、基于机器学习的智能分析服务和基于Spark生态的实时计算服务,具体如下:
- 高并发采集服务:支持多种移动终端和物联网数据的可扩展接入,并具备大规模接入并发处理能力。能够兼容主流行业通用的可扩展协议和规范,并采用高可靠的集群或者负载均衡技术框架来解决。如引入Mina或者Netty技术框架后适配各种多种移动终端接入。标准化接入要求常用的字节流、文件、Json等数据格式符合主流标准格式。
- 灵活分发服务:按照分析应用需求,转发不同的数据类型和数据格式,交互方式之一是主流的消息中间件MQ或者Kafka,保证高效的转发并转换数据给数据服务运营方。交互的方式之二是Restful 方式,保证数据可以按照协议规范进行安全可靠的数据转发和传输。
- 高可扩展海量存储服务:支持数据类型和数据表可扩展,对物联网大数据进行海量存储和计算,尤其适用于初创公司研发百万级用户之内的大数据平台。
- 高可并发海量存储服务:支持数据类型和数据量的高速增长,对物联网大数据进行批处理,适合构建PB级数据量和千万级用户量的云平台。
- 高可靠海量存储服务:支持物联网多源异构数据的统一高效和海量存储,并提供易于扩展的行业数据的离线计算和批处理架构,适合构建ZB级数据量和亿级用户量的分布式大平台。
- 基于Spark生态的实时计算服务:支持对物联网大数据智能分析能力,通过企业级中间件服务框架提供安全可靠接口,实现数据实时统计和计算。
- 基于机器学习的智能分析服务:支持安全高效的机器学习算法,通过支持分布式分类、聚类、关联规则等算法,为用户和物联网机构提供个性化的智能分析服务。
自定义迁移服务:支持对物联网大数据的整体迁移和同步,通过数据转换和数据迁移工具对不同数据类型和数据格式进行整体迁移,实现数据集的自定义生成。
1.3.1高并发采集微服务
- 满足采集来自不同的厂家、移动设备类型、传输协议的行业数据的需求。我们在接口设计中完全可以针对不同设备和传输协议来设计,就是借用“分而治之”的用兵之道,“分而治之” 就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的解,把各部分的解组成整个问题的解,这种朴素的思想也完全适合于技术设计,软件的体系结构设计、模块化设计都是分而治之的具体表现。其中策略模式就是这个思想的集中体现。策略模式定义了一个公共接口,各种不同的算法以不同的方式实现这个接口。
- 满足高并发需求。需要借助消息队列、缓存、分布式处理、集群、负载均衡等核心技术,实现数据的高可靠、高并发处理,有效降低端到端的数据传输时延,提升用户体验。借用“因粮于敌”的思想。“因粮于敌”的精髓是取之于敌,胜之于敌,以战养战,动态共存。我们常说的借用对手优势发展自己并整合资源就是这个思想的集中体现。正式商用的系统需要借助高性能中间件来并行处理数据,达到不丢包下的低延迟。我们采用商用的Mina 负载均衡技术框架,可以支持多种设备和传输协议(HTTP、TCP、UDP)的数据接入,可以满足每秒上万并发数的数据接入需求。针对以上的核心需求分析和技术定位,我们可以借助第三方中间件和采用设计模式实现个性化业务,来解决接口的集中化、可扩展性、灵活性等问题,借助Mina的Socket NIO技术魅力,适配高并发的数据接口IOFilterAdapter进行反序列化编码,适配高并发的数据接口IOHandlerAdapter进行业务处理。
1.3.2灵活转发微服务
1.3.3高可扩展海量存储服务
1.3.4高并发海量存储服务
MongoDB是适用于垂直行业应用的开源数据库,是我们高并发存储和查询的首选的数据库。MongoDB能够使企业业务更加具有扩展性,通过使用MongoDB来创建新的应用,能使团队提升开发效率。
1.3.5高可靠海量存储服务
- 高可靠性。Hadoop按列存储和处理数据的能力值得信任。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
- 高扩展性。Hadoop是在可用的列簇中分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
- 高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
1.3.6实时计算服务
- Spark 把中间数据放到内存中,迭代运算效率高。MapReduce 中计算结果需要落地,保存到磁盘上,这样势必会影响整体速度,而 Spark 支持 DAG 图的分布式并行计算的编程框架,减少了迭代过程中数据的落地,提高了处理效率。
- Spark 容错性高。Spark 引进了弹性分布式数据集 RDD (Resilient Distributed Dataset) 的抽象,它是分布在一组节点中的只读对象集合,这些集合是弹性的,如果数据集一部分丢失,则可以根据“血统“对它们进行重建。另外在 RDD 计算时可以通过 CheckPoint 来实现容错。
- Spark 具备通用性。在Hadoop 提供了 Map 和 Reduce 两种操作基础上,Spark 又提供的很多数据集操作类型有,大致分为:Transformations 和 Actions 两大类。Transformations 包括 Map、Filter、FlatMap、Sample、GroupByKey、ReduceByKey、Union、oin、Cogroup、MapValues、Sort 和 PartionBy 等多种操作类型,同时还提供 Count, Actions 包括 Collect、 Reduce、Lookup 和 Save 等操作。
- 强大的SparkMLlib机器学习库,旨在简化机器学习的工程实践工作,并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。具体实现见第六章节。
1.3.7基于机器学习的智能分析服务
智能分析服务的总体设计中要考虑Spark MLlib工具。当今主流的建模语言包括R语言,Weka,Mahout和Spark等,我们来分析一下它们的基因和应用场景。
1.3.8自定义迁移服务
资深大数据/AI专家:大数据知识图谱-实战经验总结相关推荐
- (转)颠覆主观对冲基金的量化工程师、AI专家和数据科学家
颠覆主观对冲基金的量化工程师.AI专家和数据科学家 2017-04-02 私募工场 来源:达尔文量化科技 量化和数据分析师可能还在与主观对冲基金经理争夺主导权, 但是私下里也许传统的对冲基金经理已经知 ...
- 明略数据打造“公安大脑”用知识图谱数据库助警察破案事半功倍
本文讲的是 : 明略数据打造"公安大脑"用知识图谱数据库助警察破案事半功倍 , 3天到5分钟:明略数据打造"公安大脑"助警察研判效率大幅提升 " ...
- [知识图谱实战篇] 三.Python提取JSON数据、HTML+D3构建基本可视化布局
前面作者讲解了很多知识图谱原理知识,包括知识图谱相关技术.Neo4j绘制关系图谱等,但仍缺少一个系统全面的实例.为了加深自己对知识图谱构建的认识,为后续创建贵州旅游知识图谱打下基础,作者深入学习了张宏 ...
- 时空AI核心技术:时空知识图谱 | 维智科技
时空AI核心技术:时空知识图谱 | 维智科技 时空知识图谱不单单是一个"增强型"的开放域知识图谱,而是需要结合业务场景和领域知识,并针对时空知识自身的特点,对知识的概念.实体和关系 ...
- 活动 | 即使是AI界“网红” 知识图谱也曾经历40年的生不逢时
Knowing yourself is the beginning of all wisdom. 智者始于自知 --亚里士多德 当人工智能再次火热之后, 却因缺乏"知识"面临冷启动 ...
- python知识图谱实战_知识图谱实战
原标题:知识图谱实战 知识图谱是近来非常红火的技术,融合网络爬虫,自然语言处理,机器学习,深度学习,图数据库,复杂网络分析等多种热门技术于一身,技术含量密集,在构造语义搜索,问答平台,高智能的人机界面 ...
- 视频教程-人工智能-知识图谱实战案例视频-NLP
人工智能-知识图谱实战案例视频 数据产品讲师,人工智能探索者,15年一线IT研发经验,国内顶级互联网行业工作背景,社区达人,著有长篇连载<胖子哥的大数据之路>,<数据实践之美> ...
- 知识图谱实战系列(笔记)
第一章: 一. 知识图谱与人工智能 人工智能的业务架构 人工智能技术架构 智能人机对话业务模型 人工智能发展阶段 一. 知识图谱的典型应用 在语义理解中的应用 在传统搜索中仅仅通过匹配英达,儿子,无法 ...
- 知识图谱实战案例完全剖析(附完整源码和数据集)-张子良-专题视频课程
知识图谱实战案例完全剖析(附完整源码和数据集)-2070人已学习 课程介绍 课程定位:系统学习知识图谱的佳实践: 系统学习:完全覆盖知识建模.图数据库.知识应用和知识获取: 实战指引: ...
最新文章
- js中match、replace方法中使用正则表达式
- 程序员所应具备的品质
- matlab多元约束最小值,无约束多变量最小值求解问题
- python 数据类_python数据类
- java怎么新建模块_spring boot添加新模块的方法教程
- 我没有机器学习的学位,却拿到了 DeepMind 研究工程师的 Offer
- Hibernate入门案例及增删改查
- Sublime的Package Control安装方法
- 学习笔记41—ttest误区
- javaweb功能模块如何合理设计_如何合理设计恒温恒湿实验室
- Linux下Python3对Docker进行基本的管理(包含显示端口,显示IP,一键启动,一键关闭)
- 2021-06-27函数定义与参数
- 字节跳动的面试算法题,实在太变态了
- 最佳网络工具--OpManager局域网管理软件
- 分枝定界法,例题梳理
- Shiro整合JWT实现认证和权限鉴定(执行流程清晰详细)
- abaqus质量缩放系数取值_ABAQUS中的质量缩放
- NVIDIA vulkan driver的安装和Jetson平台上vulkan sdk的制作
- Redis ZADD命令
- 使用CIFAR10数据集完成知识蒸馏(参照了快乐就好_Peng博主的博客)致谢
热门文章
- 第7讲、OrCAD页连接符的使用以及电源电路等绘制
- 修改select 标签中的值
- Nginx报错 HTTP 413 Request Entity Too Large(Payload Too Large)解决方案
- 徐州文广旅行业安全监管平台入围2020年度江苏省智慧文旅培育项目
- 进入造车最为关键的一年,拜腾汽车有哪些值得我们期待?CEO毕福康又如何回应?...
- 【无标题】AttributeError: ‘TransposedFont‘ object has no attribute ‘getbbox‘
- mysql设置权限管理_mysql用户管理和权限设置
- unity 2017_2017年的Unity文档
- MySQL技术内幕 InnoDB存储引擎:锁问题(脏读、不可重复读)
- Burp Suite 解决中文乱码