pyspark之dataframe当前行与上一行值求差

from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import functions as F
from pyspark.sql.window import Windowsc = SparkContext(appName="PrevRowDiffApp")
sqlc = SQLContext(sc)rdd = sc.parallelize([(1, 65), (2, 66), (3, 65), (4, 68), (5, 71)])df = sqlc.createDataFrame(rdd, ["id", "value"])my_window = Window.partitionBy().orderBy("id")df = df.withColumn("prev_value", F.lag(df.value).over(my_window))
df = df.withColumn("diff", F.when(F.isnull(df.value - df.prev_value), 0).otherwise(df.value - df.prev_value))df.show()
+---+-----+----------+----+
| id|value|prev_value|diff|
+---+-----+----------+----+
|  1|   65|      null|   0|
|  2|   66|        65|   1|
|  3|   65|        66|  -1|
|  4|   68|        65|   3|
|  5|   71|        68|   3|
+---+-----+----------+----+

参考：https://www.arundhaj.com/blog/calculate-difference-with-previous-row-in-pyspark.html

https://www.jianshu.com/p/55efdcabd163

pyspark之dataframe当前行与上一行值求差相关推荐

当前行取上一行或者下一行数据作为独立列
当前行取上一行或者下一行数据作为独立列 Lead over 函数可以获取当前行的后第N行作为独立列 Lag over 函数可以获取当前行的前第N行作为独立列注 : orcle才有上两个函数 , my ...
python dataframe切片_python-如何避免“试图在DataFrame的切片副本上设置值”？
我有一个数据框df_original: a b 0 10 5 1 12 6 2 14 1 现在,我想制作一个包含所有行的新数据框,其中c> 5,然后在此新数据帧上设置新的列值: df = df_ ...
R语言使用Hmisc包的impute函数填充dataframe数据中特定数据列中的缺失值、将空值null用上一行和下一行值的平均值填充
R语言使用Hmisc包的impute函数填充dataframe数据中特定数据列中的缺失值.将空值null用上一行和下一行值的平均值填充目录
pySpark创建DataFrame的方式
pySpark创建DataFrame的方式有时候需要在迭代的过程中将多个dataframe进行合并(union),这时候需要一个空的初始dataframe.创建空dataframe可以通过spark ...
c++怎么取消换行或回到上一行
在 C 语言中,可以使用转义字符来取消换行或回到上一行. 如果要在输出语句中取消换行,可以使用转义字符 \ 来在末尾输出一个不换行的字符,例如: printf("这是第一行\t这是第二行&q ...
Pyspark 读 DataFrame 的使用与基本操作
一.安装基于 mac 操作系统安装 jdk jdk 下载地址安装 pyspark pip install pyspark 二.读取 HDFS 文件读 json 注意,如果是多行的 json,需 ...
致远OA表单自定义函数（取上一行金额）
需求探讨前期,在我开始分享自定义函数时,有同事就建议小编研究一下取重复表上一行金额的自定义函数. 解决办法:主表中控件取出明细表金额数组,然后利用当前行的行号计算出上一行的行号,最后查找数组中对应行 ...
c语言中空行作用,用C语言删除空行(上一行)。
满意答案 winters74 2017.03.31 采纳率:42% 等级:11 已帮助:1125人 #include #include //for function exit() #includ ...
python dataframe取某行某列_pandas dataframe.apply() 实现对某一行/列进行处理获得一个新行/新列...
重点: dataframe.apply(function,axis)对一行或一列做出一些操作(axis=1则为对某一列进行操作,此时,apply函数每次将dataframe的一行传给function, ...

pyspark之dataframe当前行与上一行值求差

pyspark之dataframe当前行与上一行值求差

pyspark之dataframe当前行与上一行值求差相关推荐

最新文章

热门文章