语法


class PreferredPrompt(val preference: String)object Greeter {def greet(name:String)(implicit prompt: PreferredPrompt) {println("Welcome, " + name + ". Thee systeme is ready.")  println(prompt.preference)}
}implicit val prompt = new PreferredPrompt("Yes, master> ")Greeter.greet("Joe")

应用

RequestContext 传递

java编程中有使用ThreadLocal来保存当前请求，避免每个方法都带上context；

scala通过implict，减少boilerplate code

abstract class RequestHandler {def process(context:RequstContext)
}//main handler class
def dispatch(request:Request) {implicit val context = makeContext(request)handler1.processhandler2.processhandler3.process}

SparkSession

spark session 对象贯穿整个job/application，通过implicit 减少每个方法调用时显示传入

  def sql2df(sql:String, view:Option[String] = None, isCache:Boolean = true)(implicit spark:SparkSession):DataFrame = {println(sql)val df = spark.sql(sql)if(isCache)df.cache()if(view.isDefined)df.createOrReplaceTempView(view.get)df}

scala implicit - implicit parameters spark 应用相关推荐

Scala篇—implicit隐式入门
Scala篇-implicit隐式入门一.implicit概述 1.简介 2.为什么需要implicit 3.隐式转换机制 4.隐式转换规则 5.使用implicit须知二.Demo示例 1.隐式 ...
命令行中只用scala来运行一个spark应用
由于intellij十分消耗内存, 并且在概念上来讲,scala导入jar包应该和在集成开发环境中导入jar包是等效的. 所以我想,能否纯命令行,不用spark-submit的情况下来运行呢? 折腾了 ...
编写Scala代码，使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层
编写Scala代码,使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层抽取MySQL的metast库中Production表的全量数据进入Hive的ods库中表production,字 ...
Scala之Implicit的用法
Scala在面对编译出现类型错误时,提供了一个由编译器自我修复的机制,编译器试图去寻找一个隐式implicit的转换方法,转换出正确的类型,完成编译.这就是implicit 的意义. 一. 隐式转换 ...
Scala之——Implicit 详解
在我看来,Implicit 做的事情也是 Scala 主要做的事情,那就是代码压缩,减少模块代码,talk is cheap,先用一个实例来了解一下 Implicit 的作用. 一个栗子马上就到情人 ...
Scala的implicit
1. 隐式转换函数我们在scala repl里定义一个方法foo,接受一个string的参数,打印出message. 当我们传入字符串参数"2"的时候,输出2. 但是当传入的类型 ...
Scala基于Akka模拟Spark Master Worker进程间通信（二）：Worker定时向Master心跳
最终效果 Master package cn.zxl.spark.masterimport akka.actor.{Actor, ActorRef, ActorSystem, Props} impor ...
Scala基于Akka模拟Spark Master Worker进程间通信（一）：Worker向Master注册
最终效果 master: worker: 思路分析 Master代码 package cn.zxl.spark.masterimport akka.actor.{Actor, ActorRef, Ac ...
获取系统URL访问的前三名（通过Scala方式实现/通过Spark方式实现），Spark将URL访问日志进行分类并通过自定义Partitioner的方式将文件写入到不同分区上
1.创建Maven项目创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/74571374 2.准备日志文件 url.log的内容类 ...

scala implicit - implicit parameters spark 应用

语法

应用

RequestContext 传递

SparkSession

scala implicit - implicit parameters spark 应用相关推荐

最新文章

热门文章