优达学城java_优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

P3 OpenStreetMap 项目思路整理

P3项目的核心在于数据的整理 data cleaning 数据清洗，数据来源于开源的OpenStreetMap平台，该平台上的很多数据都是开发者自行输入的，难免会造成数据的混乱和缺失，错误，也就是所说的dirty data 脏数据 human involved

data cleaning的关注点 validity completeness accuracy consistency uniformity

validity 有效性数据是否符合常理人名不应该是数字

completeness 完整性数据记录表格中的数据是否记录完整

accuracy 准确性数据是否符合实际情况一个国家的人口值，国土面积

consistency 一致性

uniformity 统一性单位是否统一

项目评估准则中的地图中遇到的问题：

举例：使用蓝图的实例中使用编写的audit()函数来统计道路名称的种类代码使用了cElementTree 正则表达式(正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配)

图1. 统计所用的audit()函数代码

图2. 部分统计结果

XML (Extensible Markup Language)数据处理基础：

1. XML 与 HTML 关系： XML用来存储和传输数据 HTML用来展示数据 (XML可以自定义标签，具备自我描述性)

XML将数据从HTML文件中分离出来，简化数据的传输，共享，更新

一个XML文件的示例简单的一个便签文本

标签是处理的核心，读懂标签就能够对数据进行整理分类

树形结构文档根元素，子元素，元素的属性

shil

构建http请求：待完成

OSM XML 文件基础：

1.迭代解析创建一个tag标签，初步了解一个数据集的标签总数，通过逐一解析标签来完成数据分析工作总而避免将数据全部导入到内存中占据过大的内存空间。使用解析器 parsing service.

优达学城java_优达学城数据分析师纳米学位——P3项目知识点整理及代码分析相关推荐

优达学城数据分析师纳米学位——P3项目知识点整理及代码分析 xml文件解析
The ElementTree XML API 在廖雪峰的博客中提到: start_element char_data end_element 的处理思路,关注起始点,数据内容,终止点. 操作XM ...
优达学城java_优达学城数据分析师纳米学位——P4项目知识点整理及代码分析
#P4项目知识点整理 ##P4项目概述 ##R语言知识点汇总 ##数据分析实例解析 #P4项目概述使用R+EDA(exploratory data analysis探索性数据分析)(探索式数据分析是 ...
优达学城数据分析师纳米学位——P5项目知识点整理贝叶斯规则
关键词: 条件概率(conditional probabilities), 贝叶斯规则(Baye's rules),全概率(Total probability Theorem) 参考资料: MOOC学 ...
深夜，学妹说她想做Python数据分析师
大家好,我是大鹏,目前是一名数据分析师. 上周末晚上,我的学妹突然约我出来喝咖啡.想起学妹在学校就一直说想转行,最近在网上捣鼓自学数据分析软件有一小段时间了.我想她不是为了叙旧. 果然来到咖啡店,她一 ...
python数据分析多久能学会_周末深夜，学妹说她想做Python数据分析师....
大家好,我是大鹏,目前是一名数据分析师, 上周末晚上,我的学妹突然约我出来喝咖啡,我觉得这件事情不简单,果然一到她就递给我手机,开口就问: 鹏哥,你是个很厉害的数据分析师吧,快帮我看看这招聘要求都是什 ...
python数据分析要学多久_如何七周成为数据分析师18：Python的新手教程
本文是<如何七周成为数据分析师>的第十八篇教程,如果想要了解写作初衷,可以先行阅读七周指南.温馨提示:如果您已经熟悉Python,大可不必再看这篇文章,或只挑选部分. Python是近年来 ...
零基础学python pdf-笔记《零基础入门学习Python(第2版)》PDF+课件+代码分析
通过自学编程,感觉到基础知识很重要,越到后面越能发现这一点,光记住是不行的,还要灵活运用,要多调试代码,计算机就是一个不断练习,不断遇到问题,解决问题的工种,要根据实际的业务能想到对应的语法,实际项目 ...
优达twitter 清理_Udacity优达学城数据分析视频
Udacity优达学城数据分析视频下载!Udacity优达学城数据分析视频是udacity优达学城数据分析学习笔记!udacity优达学城纳米学位资料视频是机器学习&深度学习视频教程! Uda ...
优达学城计算机视觉pkl,优达学城机器学习工程师纳米学位项目介绍
本文由 meelo 原创,请务必以链接形式注明本文地址,简书同步更新地址一对一的项目辅导是优达学城纳米学位的一大亮点.本文将简要介绍优达学城机器学习工程师纳米学位的6个项目.项目覆盖了机器学习的主 ...

优达学城java_优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

优达学城java_优达学城数据分析师纳米学位——P3项目知识点整理及代码分析相关推荐

最新文章

热门文章