Shark Hive Spark Hadoop2 进行整合的测试。

本文目的是测试将shark和hadoop2进行整合。

本来打算使用Shark 最新版0.9.0 ，但是官方好像还没有针对与Hadoop2的正式下载地址。（这个要说明一下，官方只提供了源码，并没有找到编译好的0.9.0 for hadoop2 ，也许需要自己编译一个，没有证实）

shark0.9.0 的需要：

Scala 2.10.3
Spark 0.9.0
(Optional) Tachyon 0.4.0
AMPLab’s Hive 0.11

请注意版本要求。

于是查找Shark以前的版本是否有针对与Hadoop2的。发现官方提供了Shark0.7 for Hadoop2的下载，而且是编译好的。

需要：

Spark version to 0.7.3
hive-0.9.0
scala-0.9.3

下载下来，配置shark,hive,spark. 运行spark，hadoop2。最后就可以运行测试了。（这些步骤可以参考这个http://www.cnblogs.com/nb591/p/3644388.html）

运行create table 操作时，报以下错误。

ERROR shark.SharkDriver: FAILED: Hive Internal Error: java.util.NoSuchElementException(null)

java.util.NoSuchElementException

at java.util.HashMap$HashIterator.nextEntry(HashMap.java:796)

at java.util.HashMap$ValueIterator.next(HashMap.java:822)

at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.genPlan(SemanticAnalyzer.java:6760)

at shark.parse.SharkSemanticAnalyzer.analyzeInternal(SharkSemanticAnalyzer.scala:150)

at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:244)

at shark.SharkDriver.compile(SharkDriver.scala:197)

at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:336)

at org.apache.hadoop.hive.ql.Driver.run(Driver.java:895)

at shark.SharkCliDriver.processCmd(SharkCliDriver.scala:288)

at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)

at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:341)

at shark.SharkCliDriver$.main(SharkCliDriver.scala:203)

at shark.SharkCliDriver.main(SharkCliDriver.scala)

接下来进行了各种尝试来解决，问题依然存在。

最后在shark的讨论组里找到了答案，官方解释是他们发布的tar有问题，晕倒。

https://groups.google.com/forum/#!msg/shark-users/3J6wtFfBx5Q/x1gZdp4nLiUJ

于是尝试使用其他版本，经过测试，使用shark-0.8.1-bin-cdh4，hive-0.9.0-bin，hadoop-2.0.0-cdh4.3.0，spark-0.8.1进行整合，可以正常使用(尝试spark-0.7.3，至进行了简单的操作，也没问题)。

------Done----

知识源于网络 转载请注明出处http://www.cnblogs.com/nb591/p/3642672.html

转载于:https://www.cnblogs.com/nb591/p/3642672.html

Shark Hive Spark Hadoop2 进行整合的测试。相关推荐

spark第十篇：Spark与Kafka整合
spark与kafka整合需要引入spark-streaming-kafka.jar,该jar根据kafka版本有2个分支,分别是spark-streaming-kafka-0-8和spark-str ...
hadoop+hive+spark搭建（一）
1.准备三台虚拟机 2.hadoop+hive+spark+java软件包传送门:Hadoop官网 Hive官网 Spark官网一.修改主机名,hosts文件主机名修改 hostnam ...
Spark与Iceberg整合查询操作-查询快照，表历史，data files Manifests 查询快照，时间戳数据...
1.8.6 Spark与Iceberg整合查询操作 1.8.6.1 DataFrame API加载Iceberg中的数据 Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据, ...
MongoDB 遇见 spark（进行整合）
基础篇(能解决工作中80%的问题): MongoDB的概述.应用场景.下载方式.连接方式和发展历史等 MongoDB数据类型.重要概念以及shell常用指令 MongoDB文档的各种增加.更新.删除操 ...
Ochadoop之shark、spark on yarn搭建[转自 AIMP平台wiki]
安装好hadoop.hive.yarn shark.spark安装包 spark-assembly_0.9.1-hadoop2.3.0-cdh5.0.0-och3.1.0.jar shark-0.9. ...
java hive和hbase整合,Hive入门3–Hive与HBase的整合
开场白: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handle ...
搭建环境_maven: 搭建工程: ssm整合: 搭建测试:
2019独角兽企业重金招聘Python工程师标准>>> 搭建环境_maven: 搭建工程: ssm整合: 搭建测试: 搭建环境问题解决: 转载于:https://my.oschina ...
【Hadoop Summit Tokyo 2016】Hivemall: Apache Hive/Spark/Pig 的可扩展机器学习库
本讲义出自 Makoto YUI与NTT Takashi Yamamuro在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Hivemall的相关知识以及Hivemall在Spar ...
Java高级特性第10节 IDEA和Eclipse整合JUnit测试框架
一.IDEA整合Junit测试框架 1.安装插件打开File菜单的下拉菜单settings[设置] : 点击左侧Plugins[插件]菜单在输入框中输入JUnitGenerator 2.0,点击I ...

Shark Hive Spark Hadoop2 进行整合的测试。

Shark Hive Spark Hadoop2 进行整合的测试。相关推荐

最新文章

热门文章