spark中的println失效问题解决

我们知道,
spark中的println会被控制台忽略.

代码如下:

import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.sql.functions._ // for lit(), first(), etc.
import org.apache.log4j.Logger
import org.apache.log4j.Levelobject RunIntro extends Serializable {def main(args: Array[String]): Unit = {prints(spark,"------------来看下这个复杂的SQL语句-----------------")val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")}
def prints(spark:SparkSession,log:String) : Unit = {var rdd= spark.sparkContext.parallelize(List(log))rdd.collect().foreach(println)//Spark里面,必须两句话配合才能输出.
}}

实际项目的时候,把上面的prints函数拷贝到自己的工程里面,
然后一句:

prints(spark,"------------来看下这个复杂的SQL语句-----------------")

就行了.

spark中的println失效问题解决相关推荐

微信小程序在模板语法中使用indexOf失效问题解决办法
失效问题: 小程序的mastache语法不支持js的方法. 即在页面标签中,使用以下js方法无效: Object.keys() toString() indexOf() 解决办法-wxs: WXS(W ...
asp.net 中Button按钮失效问题解决办法
在asp.net页面中,有时候Button按钮会失效,根据经验,导致整个问题发生一般有两种可能性: 一.页面中添加了验证控件,对于这种情况,需要对Button及其相关联的验证控件的Validation ...
Spark SQL中出现 CROSS JOIN 问题解决
Spark SQL中出现 CROSS JOIN 问题解决参考文章: (1)Spark SQL中出现 CROSS JOIN 问题解决 (2)https://www.cnblogs.com/yjd_hy ...
nginx反向代理(proxy_pass)tomcat的过程中，session失效的问题解决
nginx反向代理(proxy_pass)tomcat的过程中,session失效的问题解决参考文章: (1)nginx反向代理(proxy_pass)tomcat的过程中,session失效的问题 ...
Intellij IDEA开发环境搭建，scala配置及打包，jar包在spark中的运行
1. Intellij IDEA 开发环境搭建最近在学习scala,除需要编写scala程序外,同时还需要创建maven工程,打成Jar包,而Eclipse在这方面显得使用的不是那么方面,同时由于I ...
Java查询spark中生成的文件_java+spark-sql查询excel
Spark官网下载Spark 下载Windows下Hadoop所需文件winutils.exe 同学们自己网上找找吧,这里就不上传了,其实该文件可有可无,报错也不影响Spark运行,强迫症可以下载,本 ...
Spark中常用的算法
Spark中常用的算法: 3.2.1 分类算法分类算法属于监督式学习,使用类标签已知的样本建立一个分类函数或分类模型,应用分类模型,能把数据库中的类标签未知的数据进行归类.分类在数据挖掘中是一项重要 ...
spark中local模式与cluster模式使用场景_Spark 知识点 ( 架构 RDD Task )
1. Spark介绍 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一 ...
在Spark中自定义Kryo序列化输入输出API（转）
原文链接:在Spark中自定义Kryo序列化输入输出API 在Spark中内置支持两种系列化格式:(1).Java serialization:(2).Kryo serialization.在默认情况 ...

spark中的println失效问题解决

spark中的println失效问题解决相关推荐

最新文章

热门文章