sparksql join用法

package com.ws.sparksql
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
/*** sparksql join ： 与mysql 的join 一样用法*/
object JoinDemo {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("JoinDemo").master("local[*]").getOrCreate()import spark.implicits._val subjectData: Dataset[String] = spark.createDataset(List("1,math,98", "2,math,60", "3,math,50"))val sb: Dataset[(Int, String, Int)] = subjectData.map(l => {val fields = l.split(",")val id = fields(0).toIntval subject = fields(1)val score = fields(2).toInt(id, subject, score)})val studentData: Dataset[String] = spark.createDataset(List("1,大宝", "2,渣渣", "3,55"))val student: Dataset[(Int, String)] = studentData.map(l => {val fields = l.split(",")val id = fields(0).toIntval name = fields(1)(id, name)})val stDataFrame: DataFrame = student.toDF("sid", "name")val sbDataFrame = sb.toDF("uid", "math", "score")//dataFrame方式//val result = sbDataFrame.join(stDataFrame, $"uid" === $"sid", "right")//spark sql方式sbDataFrame.createTempView("t_sb")stDataFrame.createTempView("t_student")val result = spark.sql(" select t.* , s.name from t_sb t join t_student s on  t.uid = s.sid")result.show()spark.stop()}
}

结果 :

+---+----+-----+----+
|uid|math|score|name|
+---+----+-----+----+
|  1|math|   98|  大宝|
|  2|math|   60|  渣渣|
|  3|math|   50|  55|
+---+----+-----+----+

sparksql join用法相关推荐

sparksql agg用法
sparkSql agg用法,样例代码 def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appNam ...
linux线程join的用法,join用法
Join用法 - a 1显示第一个文件的不匹配行,- a 2为从第二个文件中显示不匹配行. n.m n为文件号,m为域号.1 . 3表示只显示文件1第三域,每个n,m必须用逗号分隔,如1 . 3 ...
Java线程中wait、await、sleep、yield、join用法总结
文章目录一.wait().notify().notifyAll()用法二.await().signal().signalAll()用法三 .yield().join()用法四.wait().a ...
boost::fusion::join用法的测试程序
boost::fusion::join用法的测试程序实现功能 C++实现代码实现功能 boost::fusion::join用法的测试程序 C++实现代码 #include <boost/d ...
SQL中的left outer join,inner join,right outer join用法（左右内连接）
SQL语句中的left outer join,inner join,right outer join用法 left outer join=left join , right outer join= ...
wait放弃对象锁_Java线程中wait、await、sleep、yield、join用法总结
一.wait().notify().notifyAll()用法 obj.wait()/obj.wait(long timeout)是Object中的方法,当线程调用wait()方法,当前线程释放对象锁 ...
oracle中何时会用到join,Oracle中join用法的演示
以下的文章主要介绍的是Oracle中join用法,如果你是其方面的新手,对Oracle中oin的实际用法很感兴趣,但是却找不到一些资料去对其进行更深入的了解的话,你不妨浏览以下的文章对其进行了解. O ...
thinkphp中join用法
JOIN方法也是连贯操作方法之一,用于根据两个或多个表中的列之间的关系,从这些表中查询数据. 附上项目中的left join用法的代码: 1 $data = M("groups g" ...
Oracle的join默认为,oracle join用法
文章分类:数据库 join用法条件连接(join) T1 { [INNER] | { LEFT | RIGHT | FULL } [OUTER] } JOIN T2 ON boolean_expre ...

sparksql join用法

sparksql join用法相关推荐

最新文章

热门文章