大数据工作由哪几部分组成？

关于大数据的概念，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。而大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。那么关于大数据的技术大致包含哪些内容?

一、数据采集

ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

二、数据存取

关系数据库、NOSQL、SQL等。

三、基础架构

云存储、分布式文件存储等。

四、数据处理

自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

五、统计分析

假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

六、数据挖掘

分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。

七、模型预测

预测模型、机器学习、建模仿真。

八、结果呈现

云计算、标签云、关系图等。

转载于:https://blog.51cto.com/12306609/2177687

大数据工作由哪几部分组成？相关推荐

大数据工作的正确打开姿势
最近跟一家著名互联网企业的首席架构师讨论起了数据的话题,得知其正为数据迅速膨胀却无法很快产生价值而发愁.我开玩笑说;"您这是饱汉子不知道饿汉子饥,我们想数据都想疯了".其回复:&q ...
java 怎么获取object的数据_自学java，想将来从事大数据工作，现实吗？怎么学？...
自学java,想将来从事大数据工作,怎么学? 我是大一通信工程的一名学生,我们学习的是C,但我将来想从事大数据开发的工作,我想向各位大佬请教一下,像我这种情况,自学java然后去从事大数据工作是不是不 ...
根据我的经验如何进行数据科学，人工智能或大数据工作
by Richard Freeman, PhD 理查德·弗里曼(Richard Freeman)博士根据我的经验如何进行数据科学,人工智能或大数据工作 (How to work in Data Sc ...
原来大数据工作流程可以这样理解------生米煮成熟饭！
碎碎念最近一直在思考作为测试工程师,如何以大数据为方向,提升自己的知识储备,适应接下来的市场需求,于是看了很多大数据相关的前辈们的文章,加上自己的理解,竟然觉着大数据工作处理流程,就好像我们在煮饭! ...
从事大数据工作的朋友你拥有几个大数据证书？
随着大数据的兴起与应用,数据科学家和数据分析师,以及具有大数据技术工作能力的工程师和开发人员得到了青睐,并获得良好的回报. 怎样证明你的大数据实力?大数据证书最直接! 大讲台老师整理出现今流行的16个 ...
财务大数据比赛有python吗-大数据工作内容有哪些?老男孩Python数据培训
数据,想必对于大家来说都是非常熟悉的东西,也是我们生活之中不能够缺少的,数据的出现给我们带来了很大的帮助,但是说到大数据,可能很多人都存在疑问,是什么呢?大数据开发主要做什么? 根据大数据人才报告来说 ...
巴克莱：对冲基金AI和大数据工作指南
本文来自AI新媒体量子位(QbitAI) 机器学习.人工智能.大数据正在改变金融市场. 巴克莱(Barclays)银行最近调查了65名对冲基金经理,这些人掌管着6500亿美元的资产,然后形成了一个对冲 ...
大数据项目一般金额多少_大数据工作月薪多少就业前景好不好？
大数据分析员一个月的薪水可以达到1万5左右,数据分析员的薪水更高,可以达到20000元/月.工程师有更多的一般工作经验,薪水也更高,年龄在30-50万是很正常的事情.我国大数据的发展还不成熟,这方面的 ...
从事大数据工作学Java还是Python？
作为当下最流行的两大编程语言,Python和Java是很多人学习时的首选,Java属于行业经典,Python属于后起之秀,它们都与大数据关系密切.那么大数据学Java还是Python?以下是详细的内容 ...
大数据工程师的日常工作内容是干嘛？
本文来源:知乎大家好,我是脚丫先生 (o^^o) 最近小伙伴们,有问到大数据工程师岗位平常的日常工作都是干嘛的? 大数据或者说想入门大数据,技术肯定是第一重要的,不会大数据的技术谈什么大数据.那么大 ...

大数据工作由哪几部分组成？

大数据工作由哪几部分组成？相关推荐

最新文章

热门文章