使用Pyecharts进行全国水质TDS地图可视化全过程2：使用Power Query 进行百万行级别数据匹配
简介：本文介绍使用Excel Power Query进行数据匹配。利用这种方式，可以在几分钟内完成百万级别数据量的匹配。
在TDS可视化地图项目中，我们的原始数据没有TDS和具体安装地址的对应，我们需要通过机器条码去匹配安装台账的地址。
这个数据量很大，有多大？我们截取的时间段内，它会去到接近300万行数据。
传统匹配方式，大家用Vlookup最多。但是数据量大的时候，会卡得你怀疑人生，尤其是电脑配置不高时，最后以死机结尾。
有很多种方式可以进行这种级别的数据处理，例如VBA重写Vlookup函数，使用SQL，Access，Python编程等。
但大部分人不会编程。所以我今天讲一种不需要编程的处理方式——使用Power Query进行匹配。
操作非常简单，一学就会。
首先介绍下，Power Query是一个Excel插件，是Power BI的一个组件。Microsoft Office2016版本中自带了Power Query，其他低版本的需要下载插件。
接下来，我们举一个二十四节气数据匹配的例子来学习。
插个题外话，每年年底总有新闻报导争论属相，例如到底是属牛还是属虎，有人认为元旦过后是新的属相，有人认为正月初一后是新的属相，等等。
夏虫不可语冰，我从不和人争论这个。
我个人观点，这个没什么好争论的，民间你怎么认为都可以。但是，在命理上，一定是按节气去计算，以立春交接时间点为分界，立春前为旧的属相，立春后为新的属相。
节气在命理、术数中具有重要作用。例如八字的四柱排盘是以节气为基础，一旦排错了，八字就错了，我曾经在网上看过错误的排盘。又如在梅花易数中，节气决定着卦气旺衰，卦气旺衰决定着起卦吉凶的判断。
回到正题，我们来学习Power Query数据匹配。
这里有一份表，从1583年到2135年的节气时间点。我们有另外一份新表，包含了4个年份。需求是从总表中匹配出当年对应的二十四节气时间。
待匹配的表格，一共4个年份，我们需要匹配出当年的二十四节气时刻
使用Power Query操作，一共就只有两步，非常的简单：
第一步：新建查询，加载数据源
入口在菜单栏的数据，对于Excel，一般我们数据可以来源于其他的Excel文件，或者是同一份Excel文件的其他Sheet。当来自其他文件时，我们选从文件——从Excel工作薄。当来自同一份Excel文件的其他Sheet时，我们选从表格。
当来自同一份Excel文件的其他Sheet时，这里有个非常快的方法可以选取到数据，就是我们先去到所在Sheet页，然后任意点击一个数据，再选从表格，就非常快速的把表格内容全部选上了。
注意勾选一下表包含标题，免得后面看不懂这一列数据是干嘛的。
点击“确定”后，会出现如下界面：
点击左上角的“关闭并上载”，会出现如下页面。表明数据已经上载好了。
按照上面的步骤，需要匹配的表，也加载好。加载后如下所示。
加载后，Excel默认的命名是表1，表2，表3...这种，辨识度不高，当我们需要匹配多个表格时，我们可以把右侧表的名字改一下，以免表格太多时，忘记了这个表是什么，右键就可以更改。
第二步：接下来是使用“合并查询”来匹配
入口在数据——新建查询——合并。
出来的界面：
下拉框里，我们选择好表格：
我们以年份为匹配，所以就把上下两个表的年份列选上：
联接种类就用默认的：左外部(第一个中的所有行，第二个中的匹配行)
然后点击确定，出现如下界面：
鼠标点击二十四节气边上的按钮，会出现如下界面：
这个时候就很明白了，我们只需要勾选我们需要的数据就可以，这里我们的需求是所有二十四节气，所以直接选上全部。
点击“确定”，出现如下界面：
然后点击左上角的“关闭并上载”，就可以把数据导出了，可以看到数据已经到了Excel表里。
至此，我们完成了我们想要的数据的匹配。
这种匹配方式的效率非常高。利用这种方式，我们可以在几分钟内完成百万级别数据量的匹配。
使用Pyecharts进行全国水质TDS地图可视化全过程2：使用Power Query 进行百万行级别数据匹配相关推荐
- 使用Pyecharts进行全国水质TDS地图可视化全过程1：总体过程简述
目录 一.效果图 二.实现过程1:数据来源及清洗 三.实现过程2:数据分析 四.实现过程3:数据可视化 分享使用Pyecharts进行全国水质TDS地图可视化的全过程. 一.效果图 本次对全国TDS进 ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程3：用Python拆分物流地址以及实现地址补全
目录 1.提取省市区信息 2.提取街镇乡.村或居委会信息 3.自动补全省市信息 简介:本文介绍用Python编程,实现对物流地址的拆分及补全.在快递物流中会用到这种技术. 在TDS地图可视化项目中,我 ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程6：利用Python+Selenium自动化获取页面信息
本文是扩展文,介绍利用Selenium模拟人工操作,从网页上自动获取信息.这样一种方法可以处理重复性工作,解放双手,提高工作效率.属于使用Pyecharts做可视化之前的一些其他探索. 在利用Exce ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程7：使用pyecharts画地图总述
目录 一.什么是pyecharts? 二.安装pyecharts? 三.pyecharts使用文档 四.pyecharts画地图 五.需要注意的事项 六.地图的下钻 本文为总述.后面几篇文章再详细的拿 ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程5：利用Excel地图实现美国水质地图可视化
本文是扩展文,介绍使用Excel进行地图可视化.属于使用Pyecharts做可视化之前的一些其他探索. 今天我们讲下如何利用Excel自带的Power Map做可视化,2013版EXCEL开始,自带了 ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程4：使用Python将Excel表拆分至多个Excel文件
在TDS可视化项目中,我们需要对省.市.区各个层级区域的TDS数据进行计算.它涉及的数量很大,大概有3211个区域的数据. 我们当然可以编程直接在一个表格上处理,但是涉及到这么多区域,它会很容易出错, ...
- 使用Pyecharts进行全国水质TDS地图可视化全过程10：地图的下钻，实现省、市、区县的联动
地图生成后是HTML文件.有了省级地图之后,如果我们想链接到市级地图.我们可以自己改一下生成的地图的HTML源代码. 打开要增加链接的地图文件,例如"全国.html",直接到代码的 ...
- 数据可视化之象形标识图，简约百变的数据视觉展现形式
随着国家的发展,各国出生率都在普遍降低,密密麻麻的数据不利于我们可视化分析.我们可以结合现代图形象形标识图来实现数据可视化查看各图形后面数据的差异. 今天给大家介绍的是利用数据可视化互动平台绘制一种相 ...
- python pyecharts map不显示_pyecharts 地图不显示问题
最近在学习pyecharts这个库,实现地图可视化的时候,发现地图一直加载不出来,查了一番资料,原来是在v0.3.2+ 起,地图已经变成扩展包,需要自行安装 解决办法 pip install echa ...
最新文章
- 网站PC端跟移动端有哪些不同的区别所在？
- 区块链3.0：侧链与跨链行业趋势报告｜OK资本
- 使用IDEA 提交代码到svn
- 50欧姆线设计 高频pcb_硬件设计基础100问（三）
- 穷人迈向富翁的理财十步曲
- php中fread()函数,php fread()函数
- 解决Xshell无法连接虚拟机CentOS7问题
- KafkaConsumer分析
- [小型企业]不同vlan配置DHCP服务
- confluence 统计页面访问量插件Page View Tracker
- uni-app路由的封装
- vuex单一状态树_Vuex中的State
- CentOS下du 和 df 的区别
- SEO入门一篇就够-SEO教程
- 基于模型预测控制MPC的光伏并网系统设计|太阳能发电|模型预测控制
- 一阶IIR数字滤波器的设计
- （寒假集训） Piggyback（最短路）
- Python经验总结
- 嵌入式linux开发，mqtt库移植
- cucumber框架使用解析