DataFrame列转json以及json转DataFrame列

spark structed stream接入kafka时,获取到的value字段一般情况下是json的字符串类型，
一般情况下处理的时候需要转成DataFrame列的形式来处理，等处理结束后，再把经过转换后的
列转成json字符串的形式写到kafka中

json字符串转成DataFrame列的代码如下：

data = [("1", '''{"f1": "value1", "f2": "value2"}'''), ("2", '''{"f1": "value12"}''')]
df = spark.createDataFrame(data, ("key", "jstring"))
df.show(10, False)dfparse = df.select(df.key, get_json_object(df.jstring, '$.f1').alias("c0"), get_json_object(df.jstring, '$.f2').alias("c1") )
dfparse.show(10, False)

DataFrame列转成json字符串的代码如下：

finalDF = dfparse.withColumn("jsonCol", to_json(struct("key","c0","c1")))
finalDF.show(10, False)

DataFrame列转json以及json转DataFrame列相关推荐

python转json的函数_pandas.DataFrame.to_json按行转json的方法
最近需要将csv文件转成dataframe并以json的形式展示到前台,故需要用到dataframe的to_json方法 to_json方法默认以列名为键,列内容为值,形成{col1:[v11,v21 ...
python pandas dataframe 转json_python-将嵌套的json转换为pandas dataframe
时间: 2019-10-27 07:33:05 标签: pandas python 我正在尝试将嵌套的json数组转换为 pandas dataframe . 列表格式的数据如下所示: [{u'ana ...
R语言把dataframe数据转化为tibble格式、查看每个数据列的缺失值个数、使用数据列的均值对数据列的缺失值进行填充
R语言把dataframe数据转化为tibble格式.查看每个数据列的缺失值个数.使用数据列的均值对数据列的缺失值进行填充目录
pandas使用方括号[]或者loc函数、基于列名称或者列名称列表索引dataframe中的单个数据列或者多个数据列（accessing columns of a dataframe)
pandas使用方括号[]或者loc函数.基于列名称或者列名称列表索引dataframe中的单个数据列或者多个数据列(accessing columns of a dataframe using co ...
pandas基于dataframe特定数据列的指定阈值将原dataframe分割成两个dataframe(split dataframe based on column value threshold
pandas基于dataframe特定数据列的指定阈值将原dataframe分割成两个子dataframe(split dataframe based on column value threshol ...
pandas使用idxmax函数获取dataframe每个数据行中最大值对应的列名称（column label of max value in each row in dataframe）
pandas使用idxmax函数获取dataframe每个数据行中最大值对应的列名称(column label of max value in each row in dataframe) 目录
pandas使用idxmin函数获取dataframe每个数据行中最小值对应的列名称（column label of min value in each row in dataframe）
pandas使用idxmin函数获取dataframe每个数据行中最小值对应的列名称(column label of min value in each row in dataframe) 目录
pandas使用iloc函数基于dataframe数据列的索引抽取单列或者多列数据、其中多列索引需要嵌入在列表方括号[]中、或使用：符号形成起始和终止范围索引
pandas使用iloc函数基于dataframe数据列的索引抽取单列或者多列数据.其中多列索引需要嵌入在列表方括号[]中.或使用:符号形成起始和终止范围索引目录
pandas使用query函数基于dataframe字符串数据列中字符串的长度筛选dataframe的数据行（specific column string length）
pandas使用query函数基于dataframe字符串数据列中字符串的长度筛选dataframe的数据行(select dataframe rows based on specific colum ...

DataFrame列转json以及json转DataFrame列

DataFrame列转json以及json转DataFrame列相关推荐

最新文章

热门文章