1、HUE 编译安装

Hue官方网站：Hue - The open source SQL Assistant for Data Warehouses
Hue官方用户手册：Hue Guide :: Hue SQL Assistant Documentation
官方安装文档：Install :: Hue SQL Assistant Documentation
Hue下载地址：Releases :: Hue SQL Assistant Documentation

Hue的官方并没有编译好的软件包，所有其安装有些繁琐，需要从github上下载源码、安装依赖、编译安装。以下详细讲解Hue下载、编译、安装的操作过程。

本次安装时居于python2.7，python3.x不知为啥安装失败.

注：网上建议说不要使用root 用户安装（还没验证具体原因）

1.1 下载软件包、上传、解压

yum install unzip
unzip hue-release-4.10.0.zip

1.2 安装环境依赖包

# 需要Python支持(Python 2.7+ / Python 3.6+)
python --version# 在 CentOS 系统中安装编译 Hue 需要的依赖库
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2- devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-develyum install -y rsync

注：以上依赖仅适用CentOS/RHEL 7.X，其他情况请参考HUE-DEPENDENCIES

网上挺多人都说安装Hue的节点上最好没有安装过MySQL，否则可能有版本冲突，当这里是都在统一个节点上面操作的。

1.3 安装NodeJs和npm

如果缺失NodeJs和npm，还需要安装NodeJs和npm

1）NodeJs下载地址：Index of /dist/v16.13.2/

或者直接在linux下载：wget https://nodejs.org/dist/v16.13.2/node-v16.13.2-linux-x64.tar.xz

2）解压并放入指定目录

tar -xf node-v16.13.2-linux-x64.tar.xz
mv node-v16.13.2-linux-x64 /usr/local/node

3）建立软连接

ln -s /usr/local/node/bin/node /usr/bin/nodeln -s /usr/local/node/bin/npm /usr/bin/npm

4）查看版本

node -v
npm -v

1.4 安装Maven

编译 Hue 还需要 Maven 环境，因此在编译前需要安装 Maven。

下载 apache-maven-3.8.5-bin.tar.gz，上传虚拟机解压缩，添加环境变量

也可以直接在/etc/profile配置环境变量

vim /etc/profile.d/dev_env.sh
# 添加环境变量
export MAVEN_HOME=/opt/module/apache-maven-3.8.5
export PATH=$PATH:$MAVEN_HOME/binsource /etc/profile
# 验证安装
mvn --version

注：记得修改maven的settings.xml配置文件

# 也可以创建一个maven目录把repository和apache-maven-3.8.5放在里面
mkdir -p /opt/module/repositoryvim /opt/module/apache-maven-3.8.5/conf/settings.xml

<!-- 修改本地仓库路径 -->
<localRepository>/opt/module/repository</localRepository><!-- 设置中央仓库 -->
<mirror><id>alimaven</id><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf>
</mirror>

1.5 hue编译

# 进入hue源码目录，进行编译。使用 PREFIX 指定安装 Hue 的路径
cd /opt/module/hue-release-4.10.0# 路径下执行安装（编译完后，会在/opt/module上多了个hue目录）
PREFIX=/opt/module make install
cd /opt/module

如果想把HUE从移动到另外一个地方，由于HUE使用了Python包的一些绝对路径，移动之后则必须执行以下命令:
# 这里不要执行（不需要移动，以下就不要执行）

rm app.reg
rm -r build
make apps

备注：这一步持续的时间比较长，还会从网上下载 jar，需要联网

1.6 修改 Hadoop 的相关配置文件

1）在 hdfs-site.xml 中增加配置

<!-- HUE -->
<property><name>dfs.webhdfs.enabled</name><value>true</value>
</property>
<property><name>dfs.permissions.enabled</name><value>false</value>
</property>

2）在 core-site.xml 中增加配置

<!-- HUE -->
<property><name>hadoop.proxyuser.hue.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hue.groups</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hdfs.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hdfs.groups</name><value>*</value>
</property>

3）在 httpfs-site.xml 中增加配置，如果没有就创建一个新的

<configuration>
<!-- HUE --><property><name>httpfs.proxyuser.hue.hosts</name><value>*</value></property><property><name>httpfs.proxyuser.hue.groups</name><value>*</value></property>
</configuration>

备注:修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs服务。

1.7 Hue相关配置

# 进入 Hue 安装目录
cd /opt/module/hue# 进入配置目录
cd desktop/conf# 复制一份HUE的配置文件，并修改复制的配置文件
cp pseudo-distributed.ini.tmpl pseudo-distributed.ini
vim pseudo-distributed.ini

# [desktop]http_host=linux100http_port=8000is_hue_4=true # 可能没有，就新增time_zone=Asia/Shanghaidev=trueserver_user=hueserver_group=huedefault_user=hue
# 211行左右。禁用solr，规避报错app_blacklist=search# Hue默认使用SQLite数据库记录相关元数据，替换为mysql
# [[database]]engine=mysqlhost=linux100port=3306user=rootpassword=123456name=hue# 1003行左右，Hadoop配置文件的路径hadoop_conf_dir=$HADOOP_HOME/etc/hadoop

1.8 创建hue数据库，并初始化数据

mysql -uroot-p123456
mysql> create database hue;

cd /opt/module/hue
# 向hue数据库中写表
build/env/bin/hue syncdb （--noinput看情况添加）
build/env/bin/hue migrate# 必须添加hue用户，不然无法启动
groupadd hue
useradd -g hue hue# 将hue源码的用户所有者/组改为hue
chown -R hue:hue /opt/module/hue

1.9 启动/停止Hue

# 启动
/opt/module/hue/build/env/bin/supervisor# 或者后台启动
sudo nohup /opt/module/hue/build/env/bin/supervisor >> /opt/module/hue/logs/hue.log 2>&1 &# 如果hue.log权限不够
chmod -R 666 hue.log

一般情况下，直接使用Ctrl + c来停止hue服务

如果将hue在后台运行的话，可以使用kill命令：

sudo ps -ef | grep hue | grep -v grep | awk '{print $2}' | xargs kill -9# 如果不行，就执行kill
sudo kill -9 port

1.10 访问Hue页面

http://linux100:8000/hue

2、Hue整合Hadoop、Hive、MySQL

修改参数文件 /opt/module/hue/desktop/conf/pseudo-distributed.ini

2.1 集成HDFS、Yarn

[hadoop][[hdfs_clusters]][[[default]]]# Enter the filesystem uri# 查看hadoop的core-site.xml,自己的fs端口号是8020还是9000fs_defaultfs=hdfs://linux100:8020# 50070 是hadoop-2.x的端口# 9870 是hadoop-3.x的端口webhdfs_url=http://linux100:9870/webhdfs/v1hadoop_conf_dir=$HADOOP_HOME/etc/hadoop[[yarn_clusters]][[[default]]] resourcemanager_host=linux100resourcemanager_port=8032submit_to=Trueresourcemanager_api_url=http://linux100:8088proxy_api_url=http://linux100:8088history_server_api_url=http://linux100:19888

2.2 集成Hive

集成Hive需要启动 Hiveserver2 服务，在对应的节点上启动 Hiveserver2

[beeswax]hive_server_host=linux100hive_server_port=10000hive_conf_dir=$HIVE_HOME/conf

2.3 集成MySQL

[librdbms][[databases]]# 注意:##[[mysql]] => [[mysql]];两个##要去掉![[[mysql]]]nice_name="My SQL DB"name=hueengine=mysqlhost=linux100port=3306user=rootpassword=123456

注：name是数据库名，即database的名称

3、安装过程中、登录后遇到的问题

Hue相关的问题点统一整理到另一篇文章：Hue安装、或操作过程中遇到的问题_ykqidev的博客-CSDN博客[Hue-001] 编译Hue时报错，File “/usr/bin/yum“, line 30 except KeyboardInterrupt解决方案：主要是系统自带的python2.7，默认环境是python，你安装python3.x后，更改默认/usr/bin/python的软引用为python3.x导致的。直接修改/usr/bin/yum文件中的第一行为 #!/usr/bin/python2.7[Hue-002] Hue启动报错，OperationalError: attempt to whttps://blog.csdn.net/YKQi_/article/details/124174261

4、自动升级pip下所有安装包

不是直接就可以使用，根据具体情况调整

# -*- coding:utf-8 -*-
import os
import redef update():# 这里就相当于我们在cmd里面输入pip list 展示 pip 安装的所有包pip_list = os.popen('python2 -m pip list').readlines()  # print(pip_list)# 由于pip_list里面存储的数据都是pefile (2021.11.5) 这种样子的，但是我们只需要pefile而不要()里面的东西，所以要利用正则表达式将()以及里面的内容去掉p = re.compile(r'\(.*?\)')  try:for i in pip_list:# 利用正则表达式去掉无用的信息content = p.sub('', i).split()[0]  if 'Package' != content and '----------------------------------' != content:# 开始更新内容os.system('python2 -m pip install --upgrade -i https://pypi.douban.com/simple/' + ' ' + content)  except:passif __name__ == '__main__':update()

Centos7上安装配置Hue相关推荐

在CentOS7上安装配置Corosync高可用集群过程全记录
在CentOS7上安装配置Corosync高可用集群过程全记录一.环境.拓朴及其他准备工作: 1-1:准备网络YUM源环境: All Nodes OS CentOS 7.3 x86_64: # wg ...
centos7上安装配置tomcat8.5
JAVA JDK安装配置必要前提关闭 selinux 和防火墙 Apache Tomcat/8.5.16依赖jre7及以上版本,不过jdk高版本已经包含jre. 首先去oracle的网站下载对应ja ...
Centos7上安装配置Spark
该文章主要是描述Spark的简单安装,版本为 spark-3.1.3-bin-hadoop3.2.tgz 1.Spark 下载.解压.安装 Spark官方网站:Apache Spark™ - Unif ...
Centos7上安装oracle11g/12c的安装教程推荐及注意事项
Centos7上安装oracle11g的安装教程推荐及注意事项历时一天半,终于在今天中午安装完oracle11g,成功后喜悦的心情自是溢于言表.总有些疑问,比如为何如此复杂的数据库为何还会有如此之多 ...
CentOS7.3 安装配置 Nginx、MariaDB、PHP
CentOS7.3 安装配置 Nginx.MariaDB.PHP 配置 nginx 安装参数并安装配置以下参数也可以在后期通过配置 conf 文件进行配置基本配置如下 ./configure - ...
在centos7上安装Jenkins
在centos7上安装Jenkins 安装添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins ...
在CentOS7上安装和使用ZooKeeper最新版本（V3.4.12）
0.ZooKeeper文档 http://zookeeper.apache.org/doc/r3.4.11/zookeeperOver.html 1.准备在CentOS7上安装zookeeper时, ...
centos7 sh 注释_在CentOS7上安装RocketMQ 4.7.1
前言阿里的fastjson的低版本(<=1.2.68)被爆出有安全漏洞,而RocketMQ 4.7.0使用了fastjson 1.2.62,因此需要将RocketMQ升级到 RocketMQ ...
Centos7 上安装 FastDFS
Centos7 上安装 FastDFS 另外,我是在阿里云服务器装的fastDFS所以遇到不能访问问题,可以参考如下方案: 访问远程服务器的fastDFS,需要在远程服务器storage.conf中配 ...

Centos7上安装配置Hue