Hue使用（Apache Hadoop UI系统）

一、Hue的安装部署

Hue版本：cdh5.3.6-hue-3.7.0
需要编译才能使用
1. 需要联网
2. 依赖(针对不同Linux版本)
```
ant
asciidoc
cyrus-sasl-devel
cyrus-sasl-gssapi
gcc
gcc-c++
krb5-devel
libtidy (for unit tests only)
libxml2-devel
libxslt-devel
mvn (from maven package or maven3 tarball)
mysql
mysql-devel
openldap-devel
python-devel
sqlite-devel
openssl-devel (for version 7+)
```
3. 检查系统有没有这些包
  sudo rpm -qa | grep package_name
4. yum 安装
  sudo yum install ant asciidoc cyrus-sasl-devel gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel openssl-devel -y
编译
1. 下载解压：
  tar -zxvf hue-3.7.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/
2. 进入hue家目录：
  cd /opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6
3. 编译：make apps
4. 卸载open-jdk
  1. 查看：sudo rpm -qa | grep java
  2. 卸载：sudo rpm -e --nodeps java_cup-0.10k-5.el6.x86_64 java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.121-2.6.8.1.el6_8.x86_64 java-1.7.0-openjdk-devel-1.7.0.121-2.6.8.1.el6_8.x86_64

配置

hue的全局配置文件：desktop/conf/hue.ini

配置文件中所有的标记启用以中括号表示

[desktop]secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o# Webserver listens on this address and porthttp_host=hadoop-senior01.ibeifeng.comhttp_port=8888# Time zone nametime_zone=Asia/Shanghai

使用
1. 启动：build/env/bin/supervisor
2. web ui：hadoop-senior01.ibeifeng.com:8888

二、 Hue框架集成

hadoop-HDFS集成

HDFS的配置

hdfs-site.xml

<!-- 启用WebHdfs. -->
<property><name>dfs.webhdfs.enabled</name><value>true</value>
</property>

core-site.xml

<!-- Hue配置 -->
<property><name>hadoop.proxyuser.hue.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hue.groups</name><value>*</value>
</property>

重启hdfs

hue的配置：hue的全局配置文件：desktop/conf/hue.ini

[[hdfs_clusters]]
fs_defaultfs=hdfs://hadoop-senior01.ibeifeng.com:8020
webhdfs_url=http://hadoop-senior01.ibeifeng.com:50070/webhdfs/v1
hadoop_conf_dir=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
hadoop_hdfs_home=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
hadoop_bin=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin

通过网页查看HDFS

Hadoop-yarn集成

配置hue [[yarn_clusters]]

resourcemanager_host=hadoop-senior01.ibeifeng.com
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hadoop-senior01.ibeifeng.com:8088
proxy_api_url=http://hadoop-senior01.ibeifeng.com:8088
history_server_api_url=http://hadoop-senior01.ibeifeng.com:19888

测试一个mr程序：
bin/yarn jar /opt/datas/wc2.jar org.apache.hadoop.wordcount.WordCount /input /hue

Hive的集成
1. hive的metastore
  1. Derby存储：只能启动一个实例
  2. 本地MySQL：MySQL与hive在同一台机器上
  3. 远程的MySQL
    1. a) 修改远程机器的hive配置文件hive-site.xml
      <property> <name>hive.metastore.uris</name> <value></value> </property>
    2. b) 启动远程metastore
      bin/hive --service metastore 后台启动：nohup bin/hive --service metastore &
2. hive的配置
  1. hiveserver2两种模式：binary和http，默认为binary
  2. 开启hiveserver2：bin/hiveserver2
3. hue的配置 [beeswax]
```
hive_server_host=hadoop-senior01.ibeifeng.com
hive_server_port=10000
hive_conf_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/conf
hive_home_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6       
```
4. Hue上查看：

RDBMS的集成，配置hue

sqlite [[[sqlite]]]

nice_name=SQLite
name=/opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6/desktop/desktop.db
engine=sqlite

MySql

nice_name="My SQL DB"
engine=mysql
host=hadoop-senior01.ibeifeng.com
port=3306
user=root
password=123456

oozie的集成
1. hue [liboozie]
  oozie_url=http://hadoop-senior01.ibeifeng.com:11000/oozie
  
  启动Oozie
2. 存在问题，无法检测到sharelib
  1. 原因：同一家公司出的，有默认的检索地址
  2. 解决：oozie-site.xml
```
<property><name>oozie.service.WorkflowAppService.system.libpath</name><value>/user/oozie/share/lib</value>
</property>
```
  3. 重新生成sharelib
    bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-senior01.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
  4. 重启oozie：bin/oozied.sh start

三、 Hue中运行workflow

一个节点对应一个.xml文件
创建一个workflow，名称为test2
在中间添加一个Mapreduce节点mr-node
mr-node节点中主要配置属性
作业XML中hueworkflow.xml只保留了节点中的内容
运行结束后可以看到结果

Hue使用（Apache Hadoop UI系统）相关推荐

Knox网关、网关简介、概述、支持的Apache Hadoop服务、支持的Apache Hadoop生态系统的UI、参考资料
4.Knox网关 4.1.官网 http://knox.apache.org/ 4.2.Knox网关简介 Apache Knox Gateway是一个应用程序网关,用于与Apache Hadoop部署 ...
用Apache Hadoop和Apache Solr处理和索引医学图像
原文链接:Processing and Indexing Medical Images With Apache Hadoop and Apache Solr 作者:Justin Kestelyn 译者 ...
Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版 ...
Apache Hadoop 2.9.2文档中文译文 -------未完！！！！！！
目录一. General(概括) 1. Overview 2. Single Node Setup 3. Cluster Setup 4. Commands Reference 5. FileSys ...
Submarine：在 Apache Hadoop 中运行深度学习框架
\u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...
Apache Hadoop 基础设施容器化在 Uber 的实践
大数据厂长备注:以下的我们均代表 Uber 的 Hadoop 运维团队. 介绍随着 Uber 业务的增长,Uber 公司在 5 年内将 Apache Hadoop(本文简称为"Hadoop ...
Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式 Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Had ...
Apache Hadoop版本详解
由doop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼.本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议 ...
Apache Hadoop 入门教程第一章
Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构.可以让用户在不了解分布式底层细节的情况下,开发出可靠.可扩展的分布式计算应用. Apache Hadoop 框架, ...

Hue使用（Apache Hadoop UI系统）

一、Hue的安装部署

二、 Hue框架集成

三、 Hue中运行workflow

Hue使用（Apache Hadoop UI系统）相关推荐

最新文章

热门文章