基尼系数近似计算：sql （hive）实现简单高效

通过近似的方法，如何在sql中计算基尼系数。

如何在python中实现基尼系数计算的两种方法，可以查看我的另一篇文章。两篇文章取数相同，可以结合去看。

如果想加深对基尼系数计算的逻辑：可查看文章基尼系数计算方法 - longwind09 - 博客园。

本文中采用的近似方法，如何建立近似计算公式、如何简化推导公式可查看文章，本文基于这篇文章进行注释

http://www.360doc.com/content/14/0911/13/87990_408644530.shtml

-------------------------------------------------------------------------------------------------

近似的精确度取决于分组数量。如果样本数量为100个，如果分组数量为100，近似的方法取得的结果跟实际值相等。

但随着分组数量的减少，精确度也减少。

本文是在hive中实现，需要使用到hive中的over函数。

包括如何使用over函数进行分组、计算每组的总和以及取得累计加和等等。

使用文章中的近似公式推导简化，最后得到下面的公式。

select * from gini;-- gini为table名称。-- gini中的100个数据如下，字段名为wealth。/*
346,  559,  198,  420,  39,  709,  225
,  731,  708,  369,  519,  46,  48,  446
,  117,  127,  905,  652,  528,  832,  217
,  536,  942,  608,  37,  802,  422,  884
,  746,  959,  759,  397,  245,  83,  542
,  907,  128,  933,  740,  506,  458,  830
,  874,  570,  914,  592,  585,  574,  636
,  462,  86,  321,  174,  238,  670,  690
,  456,  918,  70,  801,  695,  908,  57,  497
,  605,  334,  265,  255,  235,  199,  739,  81
,  131,  68,  229,  602,  390,  571,  733,  440
,  528,  409,  222,  55,  876,  606,  906,  549
,  487,  552,  796,  454,  301,  914,  635,  304,  503,  688,  631,  705
*/-- 计算基尼系数时候先进行cumsum或者是先进行分组都可以。
-- 这里由于over函数计算cumsum的特殊性，先进行分组。-- 这里显示的是分成9组
-- 9出现在两个地方：第二行，最后的计算公式中，还有就是出现在ntile之后，分成9组的时候。
-- 第二行中：计算最后的结果时候，跟推导出来的公式有所补桶。外面的sum之前多做了一个处理，减掉了1。
-- 而且上面的文章中也提到：分成了n组的情况下，1至n-1的w是需要加和的，而第n的w是不加入计算的。
-- 这是因为最后一个样本数据的cumsum是占全部的样本的总和的100%，这个数据需要去掉。
-- cum_sum_1和cum_sum_2的结果是相同的，目前简单的数据上如此，复杂之后可能不是，需要确认。
-- 在样本数量不能被分组数量整除的时候，ntile的处理，可以搜索一下hive是怎么做的。select
(1 - (1/9) * (2*(sum(cum_sum_1)/sum(bar_sum) - 1) + 1))
from
(
select bar
, sum(wealth) as bar_sum
-- 即使bar_sum最后不需要用，也不能省略，下面的cum_sum的生成需要它，不然会报错。
-- , sum(sum(wealth)) over (order by bar rows between unbounded preceding and current row) as cum_sum_2
, sum(sum(wealth)) over(order by bar) as cum_sum_1
from
(
select wealth
, ntile(9) over (order by wealth) as bar
-- 分成9组
from gini
) a
group by bar
order by bar
limit 1000
) b
;-- 一些结果100组
0.310964174
-- 这个跟使用相同数据，在python上精确的求曲线下方面积的结果是相等的。
-- 可见我的另一片使用pyhton计算基尼系数的文章。20组
0.310254845872256939组
0.300356286353766

基尼系数近似计算：sql （hive）实现简单高效相关推荐

基尼系数计算的两种方法：python实现简单高效
使用两种方法,通过python计算基尼系数. 在sql中如何计算基尼系数,可以查看我的另一篇文章.两篇文章取数相同,可以结合去看. 文章中方法1的代码来自于:(加入了一些注释,方便理解).为精确计算. ...
在EF中使用SQL执行简单高效的增删查操作
随着平台数据的积累,对于数据访问的速度要求愈来愈高.优化后台访问性能,将是之后的一个重点任务. 但是,后台在项目开发初期采用的是Abp(Lite DDD)框架,集成EnityFramework.因为之 ...
【Flink】Apache Flink 1.13.0 正式发布，流处理应用更加简单高效
1.概述转载:Apache Flink 1.13.0 正式发布,流处理应用更加简单高效侵权可删,这里是做个笔记,防止找不到. Flink 1.13 发布了!Flink 1.13 包括了超过 200 ...
【浙大网新图灵通讯】无废话简单高效C#编码规范20100611
无废话简单高效C#编码规范20100611 自己看自己的代码啥问题也没有,但是一个团队.N多个人.N多年的代码,就比较难维护.难阅读了,什么样的不好的习惯.错误漏洞能出来的就全出来了. 第1章 ...
SQL 的一点简单的面试题求助
@SQL 面试题目,麻烦大家帮我看看 SQL 的一点简单的面试 –表结构介绍用户活跃模型表:tmp_liujg_dau_based, 以imp_date.qimei为主键, 一个用户1天只出现1次, ...
hive ：简单查询不走mapreduce
在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据. 本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中 ...
HiLink LiteOS IoT芯片让IoT开发简单高效
HiLink & LiteOS & IoT芯片让IoT开发简单高效华为HiLink & LiteOS & IoT芯片使能三件套,让IoT开发更简单高效.下一代智能手 ...
虚拟化---简单高效的IT管理模型
很多人认为云计算就是虚拟化,虚拟化就是云计算.笔者虽然并不认同这个观点,但绝对赞同虚拟化技术在云计算众多关键技术中有一席之地,而且是非常重要的关键技术. 维基百科对虚拟化的定义是:虚拟化是表示计算机资 ...
Oracle10g SQL tune adviser简单介绍【转自ITPUB zhouwf0726】
Oracle10g SQL tune adviser Oracle10g SQL tune adviser简单介绍本文简单介绍下SQL Tuning Adviser的配置使用方法和一些相关知识点,如 ...
NeurIPS 2020 | 一种基于动作采样的简单高效的正则化强化学习方法
编者按:现有的强化学习方法通常通过熵正则化的方式控制最优策略的随机性,以保证训练过程中的良好探索以及目标策略的鲁棒性.然而,熵正则化的强化学习方法通常会面临表达能力有限的策略结构和复杂低效的训练过程之 ...

基尼系数近似计算：sql （hive）实现简单高效

基尼系数近似计算：sql （hive）实现简单高效相关推荐

最新文章

热门文章

基尼系数近似计算：sql （hive）实现 简单高效

基尼系数近似计算：sql （hive）实现 简单高效相关推荐

最新文章

热门文章

基尼系数近似计算：sql （hive）实现简单高效

基尼系数近似计算：sql （hive）实现简单高效相关推荐