七、数据清洗技术

（1） 数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史 数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显 然是我们不想要的，称为“脏数据”。

（ 2）我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。

（ 3）需要清洗数据的主要类型 : 残缺数据、错误数据、重复数据 。

（ 4）数据清洗的内容： 一致性检查、无效值和缺失值的处理 。

（ 5） 常用工具

①、DataWrangler

②、Google Refine

八、网络爬虫技术——数据采集、处理和存储

网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序，简单点就是爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫。是数据采集的一种手段。

（一）通用爬虫

（二）聚焦网络爬虫

爬虫软件可以分为两类：

云爬虫（不需要安装软件）

采集器（下载安装）

常用工具：

①、神箭手云爬虫

②、八爪鱼

③、集搜客 GooSeeker

④、WebMagic

⑤、DenseSpider

大数据的关键技术（二）相关推荐

大数据原理-关键技术
大数据时代大数据的由来关键核心技术计算模式大数据的由来关键核心技术计算模式大数据的由来: 4V大数据量.繁多的数据类型.处理数据的速度快.价值密度低使得出现了大数据时代关键核心技术: ...
大数据治理工程师_大数据治理关键技术解析（转自EAWorld）
在企业数据建设过程中,大数据治理受到越来越多的重视.从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断地发展和完善,其落地实施的过程中会遇到各种各样的难题和挑战.本篇 ...
处理大数据的关键技术及应用
数据处理是对纷繁复杂的海量数据价值的提炼,而其中最有价值的地方在于预测性分析,即可以通过数据可视化.统计模式识别.数据描述等数据挖掘形式帮助数据科学家更好的理解数据,根据数据挖掘的结果得出预测性决策. ...
大数据治理关键技术解析
转载本文需注明出处:微信公众号EAWorld,违者必究. 在企业数据建设过程中,大数据治理受到越来越多的重视.从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断地发展 ...
大数据的关键技术（一）
一.大数据处理的基本流程--采集.存储.分析和实现 ①数据采集->②数据归整->③数据存储->④数据处理->⑤数据呈现二.大数据技术数据采集宇预处理数据采 ...
大数据的关键技术与综述
在大数据时代,传统的数据处理方法还适用吗? 大数据环境下的数据处理需求大数据环境下数据来源非常丰富且数据类型多样,存储和分析挖掘的数据量庞大,对数据展现的要求较高,并且很看重数据处理的高效性和可用性 ...
大数据处理的关键技术（二）
我们在上一篇文章中给大家介绍了大数据处理的两个关键技术,分别是大数据的采集技术以及大数据的预处理技术.在这篇文章中我们会给大家介绍大数据存储及管理以及大数据的展现和应用技术,希望这篇文章能够给大家带来 ...
大数据处理的关键技术（一）
关于大数据的学习以及了解大数据的用途都是很多人比较关注的,毕竟大数据这个词是近几年才兴起并迅速火热起来,也有越来越多的朋友想要加入到大数据行业.如果想要学好大数据就必须对大数据处理的关键技术有所了解, ...
大数据（二）大数据相关的技术
大数据(二)大数据相关的技术 1. 云技术大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十.数百或甚至数万的电脑分配工作.可以说,云计算充当了工业革命时期的发动机的角色 ...

大数据的关键技术（二）