SparkSQL_SparkSQL_Hint 类似HIVE中的 hint

2024-05-24 07:41:04

转载于:

1.关于sparksql中的hint

https://www.cnblogs.com/lestatzhang/p/10669547.html

前言

在Spark中，结构化查询可以通过指定查询提示(hint)来进行优化。

查询提示，即向查询加入注释，告诉查询优化器提供如何优化逻辑计划，这在查询优化器无法做出最佳决策时十分有用。

Spark SQL支持COALESCE，REPARTITION以及BROADCAST提示。在分析查询语句时，所有剩余的未解析的提示将从查询计划中被移除。

Spark SQL 2.2增加了对提示框架(Hint Framework)的支持。

如何使用查询提示hint

我们可以使用Dataset.hint运算符或带有提示的SELECT SQL语句指定查询提示。

// Dataset APIval q = spark.range(1).hint(name = "myHint", 100, true)val plan = q.queryExecution.logicalscala> println(plan.numberedTreeString)00 'UnresolvedHint myHint, [100, true]01 +- Range (0, 1, step=1, splits=Some(8))// SQLval q = sql("SELECT /*+ myHint (100, true) */ 1")val plan = q.queryExecution.logicalscala> println(plan.numberedTreeString)00 'UnresolvedHint myHint, [100, true]01 +- 'Project [unresolvedalias(1, None)]02 +- OneRowRelation

SELECT SQL语句支持查询提示作为SQL查询中的注释，Spark SQL将其转换为逻辑计划中的UnresolvedHint一元逻辑运算符。

COALESCE 和 REPARTITION 提示

Spark SQL 2.4增加了对COALESCE和REPARTITION提示的支持（使用SQL注释), 语法如下：

SELECT /*+ COALESCE(5) */ …

SELECT /*+ REPARTITION(3) */ …

Broadcast提示

Spark SQL 2.2支持使用广播标准函数或SQL注释的BROADCAST提示，语法如下：

SELECT /*+ MAPJOIN(b) */ …

SELECT /*+ BROADCASTJOIN(b) */ …

SELECT /*+ BROADCAST(b) */ …

参考资料

Hint Framework

SparkSQL_SparkSQL_Hint 类似HIVE中的 hint相关推荐

python列转行函数_Python pandas 列转行操作详解(类似hive中explode方法)
最近在工作上用到Python的pandas库来处理excel文件,遇到列转行的问题.找了一番资料后成功了,记录一下. 1. 如果需要爆炸的只有一列: df=pd.DataFrame({'A':[1,2 ...
在Hive中执行DDL之类的SQL语句时遇到的一个问题
在Hive中执行DDL之类的SQL语句时遇到的一个问题作者:天齐遇到的问题如下: hive> create table ehr_base(id string); FAILED: Execut ...
3.2-3.3 Hive中常见的数据压缩
一.数据压缩 1. 数据压缩数据量小*本地磁盘,IO*减少网络IOHadoop作业通常是IO绑定的; 压缩减少了跨网络传输的数据的大小; 通过简单地启用压缩,可以提高总体作业性能; 要压缩的数据必须支 ...
hive中存Array类型的数据的案例，将字符串的数组格式转成数组的字符串，自定义函数方式处理‘[12,23,23,34]‘字符串格式的数据为array＜int＞格式的数据。
1.创建表带有Array的表: create table t_afan_test ( info1 array<int>, info2 array<string> ) ROW F ...
hive 中某个字段等于0_快速了解hive
作者丨HappyMint 文章选摘:大数据与人工智能这是作者的第7篇文章本文主要针对从事大数据分析和架构相关工作,需要与hive打交道但目前对hive还没有进行深层次了解的小伙伴,希望本文会让你对 ...
hive中如何把13位转化为时间_重要知识点收藏 | Hive常用函数大全
关系运算 1.等值比较: = 语法:A=B 操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE:否则为FALSE 举例: hive>select 1 from lxw_du ...
Hive中的排序语法
ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似.他会对查询结果做全局排序,这意味着所有的数据会传送到一个Reduce任务上,这样会导致在大数量的情况下,花费大量时间. ...
Hive中分组取前N个值
分享两篇文章,结合看更清楚一点. 背景假设有一个学生各门课的成绩的表单,应用hive取出每科成绩前100名的学生成绩. 这个就是典型在分组取Top N的需求. 解决思路对于取出每科成绩前100名的 ...
hive 中String对长度没有限制
hive 中String对长度没有限制 hive 中String对长度没有限制! 今天在存储的时候,有个人推荐系统的元数据,是用数组写的因为很长,就考虑了一下这个问题 hive的string和var ...

最新文章

热门文章