sql python excel_数据技能篇(EXCEL,SQL,Python)
一.为什么要学习Excel
1.Excel的学习路径:Excel首先是一个好用的工具(不因为你会Python而成为数据分析师,而是能用任何工具来解决问题)
应用场景:Excel,SQL,业务(敏捷,快速,需要立即响应的需求)
Python,BI,业务,ETL (常规,频繁,可复用可工程化的需求,例如词频统计,分组聚合等)如果是一位纯新手的话
Excel函数 ————> SQL函数 ————> Python 函数
(用图形界面了解函数) (用封装好的脚本语言了解函数) (了解编程函数)
2.EXCEL常见的函数
函数分为5类:文本清洗类/关联匹配类/逻辑运算类/计算统计类/时间序列类文本清洗函数:
1bit=两种可能性,用0或1存储
1byte=8bit ,如00000001,一共有256种可能性
UTF-8:英文存储8位,中文状态下存储24位常见的文本清洗函数FIND:找出字符在字符串中的位置 =FIND("k",A1,1) k-要查找的字符串;A1被查找的字符串;1-开始位置
LEFT:从文本函数的第一个字符开始取值=LEFT(A1,FIND("k",A1,1))
CONCATENATE:拼接函数(输入字符串1,字符串2.....)
Replece:跟ctrl+F的作用等价
SUBSTITUTE:=substitute(需要替换的文本,旧文本,新文本,第N个旧文本)屏蔽手机号码的后四位:=substitute(A2,RIGHT(A2,4),"****")
substitute函数经常用来去掉文本之间的空格:=substitute(A1," ","")
6.trim 去除单元格前后的空格
7.len文本字符串中的字符数关联匹配类函数:
8个函数:LOOKUP/VLOOKUP/INDEX/MATCH/ROW/COLUMN/OFFSET/HYPERLINK逻辑运算函数:false/true
计算统计类函数:
12个函数:SUM/SUMPRODUCT/COUNT/MAX/MIN/RANK/RAND BETWEEN/
AVERAGE/QUARTILE/STDEV/SUBTOTAL/INT/ROUND
QUARTILE:四分位数 QUARTILE($C$2:$C$11,0)求最小值、=QUARTILE($C$2:$C$11,4)求最大值,=QUARTILE($C$2:$C$11,2)为中位数时间序列函数
8个函数:Year/Month/Weekday/Weeknum/Day/Date/Now/Today
案例:
给各区域店铺进行综合评分,部分数据如下:对脏数据进行数据清洗,异常值和缺失值进行处理
最为关键的是不同维度如何给定系数:点评反应的是店铺热度,一定程度上会影响可以下单,但需要对数据LOG处理,人均价格是降权同时也需要log处理
最后算出来的值进行归一化(X-min)/(max-min)处理
归一化:把有量纲的表达式变为无量纲表达式的方法,把数据映射到0~1范围内之内处理,把需要处理的数据经过处理后限制在你需要的范围之内,归一化有统一,同一,合一的意思。
二.SQL数据库
1.数据库:数据库是数据存储的集合,表是数据结构化的信息。
列存储表中的组织信息,行存储表中的记录信息
主键是表中的唯一标示,主键不具备业务意义
注:(1)表的主键不做强制要求,但建议设立
(2)主键值必须唯一
(3)每一行必须有一个主键,不可为空
(4)主键值不可被修改
(5)主键值被删除后不可重用
(6)表A的主键可以作为表B的字段,此时不受约束数据类型:文本(char)/int(整数)/ float (小数点)/date(日期)/ timestamp(精确到秒时间)
2.SQL函数LOCATE:找出字符在字符串中的位置 =LOCATE("k",A1,1) k-要查找的字符串;A1被查找的字符串;1-开始位置
LEFT 与LOCATE结合:LEFT从文本函数的第一个字符开始取值=LEFT(A1,LOCATE("k",A1)-1)
RIGHT 与LOCATE结合:RIGHT从文本函数的第一个字符开始取值=LEFT(RIGHT(salary,Length(salary)-Locate('-',salary))-1)
CASE WHEN THEN : 数据
Select
CASE
WHEN (bottom+top)/2<=10 THEN '0-10',
WHEN (bottom+top)/2<=20 THEN '10-20',
WHEN (bottom+top)/2<=30 THEN '20-30'
ELSE '30+'
END
3.SQL练习统计不同月份的下单人数
统计用户三月份的回购率和复购率(回购率一段时间与下一段时间对比;复购率是一段时间内客户购买次数)
复购率:
Select count(ct),count(if(ct>1,1,null)) from (
Select uerserID,COUNT(userID) as ct from data.orderinfo
WHERE ispaid="已支付"
and month(paidtime)=3
group by userID) t
回购率:统计男女用户消费频次是否有差异
统计多次消费的用户,第一次和最后一次消费间隔是多少?
统计不同年龄段,用户的消费金额是否有差异?
sql python excel_数据技能篇(EXCEL,SQL,Python)相关推荐
- asp sql 导出 excel_Mysql数据导出到excel基于python
阅读本文大概需要 6分钟. 数据除了在测试平台显示,有时候也会习惯用excel以及邮件展示,那么我们可以在测试平台上加一个导出excel功能,方便操作,下面介绍主要代码以及逻辑. 使用操作数据库的py ...
- 建站四部曲之Python爬虫+数据准备篇(selenium)
本系列分为四篇: 建站四部曲之后端接口篇(SpringBoot+上线) 建站四部曲之Python数据爬虫篇(selenium) 建站四部曲之前端显示篇(React+上线) 建站四部曲之移动端篇(And ...
- Python遥感图像处理应用篇(五):python如何使用numpy对遥感图像做卷积运算
本篇接着上一篇(Python遥感图像处理应用篇(四):python如何使用numpy读取遥感图像光谱值)继续深入,对遥感图像做卷积运算处理 1.基本思路 1.1 设置卷积核 这里就用3*3大小的卷积核 ...
- sql截去最后一位_数据技能篇(EXCEL,SQL,Python)
一.为什么要学习Excel 1.Excel的学习路径: Excel首先是一个好用的工具(不因为你会Python而成为数据分析师,而是能用任何工具来解决问题) 应用场景:Excel,SQL,业务(敏捷, ...
- 进阶技能篇:SQL的跨库查询与链接服务器
各位小伙伴们,关于MSSQL的基本技能篇前面一共写了10篇,也基本上算是告一段落,接下来将开始介绍进阶技能篇.在构思这个进阶技能篇的时候,一直在考虑先写哪个,其实到看到这部分内容能理解的人,基本上对S ...
- java像sql一样处理数据_像Excel一样使用SQL进行数据分析
Excel是数据分析中最常用的工具 ,利用Excel可以完成数据清洗,预处理,以及最常见的数据分类,数据筛选,分类汇总,以及数据透视等操作,而这些操作用SQL一样可以实现.SQL不仅可以从数据库中读取 ...
- sql 生成csv数据_创建包含SQL Server数据的动态生成的CSV文件
sql 生成csv数据 介绍 ( Introduction ) A few months back, I presented a paper at SQL Saturday 327 in Johann ...
- python输出数据到excel-如何使用python将大量数据导出到Excel中的小技巧之一
如何使用python将大量数据导出到Excel中的小技巧 (1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢 ...
- python导入excel数据-如何将Excel导入Python之中呢?
原标题:如何将Excel导入Python之中呢? 如何将Excel导入Python之中呢?很简单!做法如下: 首先我们要读取excel要用到xlrd模块,官网安装先上官网安装. 然后就可以跟着里面的例 ...
最新文章
- 数据统计之日下单用户量统计
- 神仙打架激辩深度学习:LeCun出大招,马库斯放狠话,机器学习先驱隔空“互怼”...
- Unique Paths II leetcode java
- OpenCV梯度直方图HOG的实例(附完整代码)
- 组装我的计算机社会实践活动,暑期电脑销售社会实践心得体会
- python字典有什么用_Python中的字典介绍
- 每天一个linux命令(40):wc命令
- 库表操作 - 存储引擎
- c语言--直接插入算法
- python图形绘制星空图_天文星空图谱开源软件Stellarium
- 深入了解电容器,电容器有哪些主要作用?
- Python深度学习笔记04——tensorflow实现神经网络(壹)
- 2020年个人年终工作总结报告及2021年工作计划怎么利用敬业签历史记录 利用云便签备忘录及待办事项的任务清单有效解决2020年终总结报告的撰写
- 计算机评游戏图形低,5常见的PC游戏图形选项说明 | MOS86
- BC渗透的常见切入点(总结)
- Python:开发语言简介
- 高斯混合模型的matlab实现
- 解读企业领域热词——BYOD
- Matlab函数功能学习记录(1)
- 开源自动化测试工具EFT