superset启动脚本及安装

superset安装配置记录
----灵感来自B站尚硅谷数仓3.0项目（尚硅谷NB）

Superset 官网地址：http://superset.apache.org/

1. 安装 Python 环境

Superset 是由 Python 语言编写的 Web 应用，要求 Python3.6 的环境

1.1 安装 Miniconda(可管理不同版本的Python环境)

（1）下载 Miniconda（Python3 版本）

下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

（2）安装 Miniconda

（1）将 Miniconda3-latest-Linux-x86_64.sh 上传到/opt/software/superset/路径
cd /opt/software/superset/

（2）执行以下命令进行安装，并按照提示操作，直到安装完成。
bash Miniconda3-latest-Linux-x86_64.sh

（3）一直按回车键(空格翻页)，直到出现 Please answer ‘yes’ or ‘no’:’ Please answer ‘yes’ or ‘no’:’

yes

(不小心输错的话，，，Ctrl+Backspace,可以删除)

（4）指定安装路径（根据用户需求指定）：/opt/module/miniconda3
[/root/miniconda3] >>> /opt/module/miniconda3

（5）是否初始化 Miniconda3，输入 yes
Do you wish the installer to initialize Miniconda3
by running conda init? [yes|no]
[no] >>> yes

（6）出现以下字样，即为安装完成
Thank you for installing Miniconda3!

查看 .bashrc文件：

2. 加载环境变量配置文件，使之生效

（1）配置环境变量

[root@sc1 miniconda3]$ vi /etc/profile.d/my_env.sh
添加如下内容：

export CONDA_HOME=/opt/module/miniconda3
export PATH=$PATH:$CONDA_HOME/bin

（2）source 一下环境变量或者重启一下连接虚拟机的客户端

[root@sc1 miniconda3]$ source /etc/profile.d/my_env.sh

(3）取消激活 base 环境（每次打开新窗口，默认会激活base环境）

Miniconda 安装完成后，每次打开终端都会激活其默认的 base 环境，我们可通过以下命令，禁止激活默认 base 环境。

conda config --set auto_activate_base false

3. 创建 Python3.6 环境

1）配置 conda 国内镜像（清华）

[root@sc1 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

[root@sc1 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

[root@sc1 ~]$ conda config --set show_channel_urls yes

2）创建 Python3.6 环境

[root@sc1 ~]$ conda create --name superset python=3.6

conda 环境管理常用命令:
 创建环境：conda create -n env_name
 查看所有环境：conda info --envs
 删除一个环境：conda remove -n env_name --all

3)激活 superset 环境

[root@sc1 ~]$ conda activate superset

退出当前环境
(superset) [root@sc1 ~]# conda deactivate

Superset 部署：

1）安装 Superset 依赖

(superset) [root@sc1 ~]$ sudo yum install -y python-setuptools

(superset) [root@sc1 ~]$ sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

2）安装（更新）setuptools 和 pip（豆瓣）

(superset) [root@sc1 ~]$ pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

3）安装 Supetset

(superset) [root@sc1 ~]$ pip install apache-superset -i https://pypi.douban.com/simple/
说明：-i 的作用是指定镜像，这里选择国内镜像（豆瓣）

4）初始化 Supetset 数据库（Supetset 是一个 web 应用，自带数据库，需要初始化）

(superset) [root@sc1 ~]$ superset db upgrade

5）创建管理员用户

(superset) [root@sc1 ~]$ export FLASK_APP=superset
(superset) [root@sc1 ~]$ flask fab create-admin
Username [admin]: sc1 （后面web页面登录的用户名）
User first name [admin]:(可不填)
User last name [user]: (可不填)
Email [admin@fab.org]: (邮箱可不填）
Password: （密码）
Repeat for confirmation:（再输入一次密码）

注：flask 是一个 python web 框架，Superset 使用的就是 flask

6）Superset 初始化

(superset) [root@sc1 ~]$ superset init

（1）启动 Superset

第一步：确保当前 conda 环境为 superset
(superset) [root@sc1 ~]$
第二步：启动
(superset) [root@sc1 ~]$ gunicorn --workers 5 --timeout 120 --bind sc1:8787 "superset.app:create_app()" --daemon
注：
 --workers：指定进程个数
 --timeout：worker 进程超时时间，超时会自动重启
 --bind：绑定本机地址，即为 Superset 访问地址
 --daemon：后台运行

停止 superset

（1）停掉 gunicorn 进程
(superset) [root@sc1 ~]$ ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
（web页面就访问不了了）

（2）退出 superset 环境
(superset) [root@sc1 ~]$ conda deactivate

启动脚本搭建：
superset.sh

（1）创建 superset.sh 文件
[root@sc1 bin]$ vi superset.sh

#!/bin/bashsuperset_status(){result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l` if [[ $result -eq 0 ]]; thenreturn 0elsereturn 1fi
}
superset_start(){# 该段内容取自~/.bashrc，所用是进行 conda 初始化# >>> conda initialize >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$('/opt/module/miniconda3/bin/conda''shell.bash' 'hook' 2> /dev/null)"if [ $? -eq 0 ]; theneval "$__conda_setup"elseif [ -f"/opt/module/miniconda3/etc/profile.d/conda.sh" ]; then. "/opt/module/miniconda3/etc/profile.d/conda.sh"elseexport PATH="/opt/module/miniconda3/bin:$PATH"fifiunset __conda_setup# <<< conda initialize <<<superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenconda activate superset ; gunicorn --workers 5 --timeout 120 --bind sc1:8787 --daemon 'superset.app:create_app()'elseecho "superset 正在运行"fi
}
superset_stop(){superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset 未在运行"elseps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9fi
}
case $1 instart )echo "启动 Superset"superset_start;;
stop )echo "停止 Superset"superset_stop;;
restart )echo "重启 Superset"superset_stopsuperset_start;;
status )superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset 未在运行"elseecho "superset 正在运行"fi
esac

（2）加执行权限
[root@sc1 bin]$ chmod +x superset.sh
（3）测试
启动 superset
[root@sc1 bin]$ superset.sh start
停止 superset
[root@sc1 bin]$ superset.sh stop
[root@sc1 bin]# superset.sh status

4）登录 Superset
访问 http://sc1:8787，并使用之前创建的管理员账号进行登录。
例如：用户名：sc1密码：123456
修改语言：

Superset 使用
对接 MySQL 数据源
1）安装连接 MySQL 数据源的依赖
(superset) [root@sc1 ~]$ conda install mysqlclient
Proceed ([y]/n)? y
说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明
http://superset.apache.org/installation.html#database-dependencies

2）重启 Superset
(superset) [root@sc1 ~]$ superset.sh restart

数据源配置：

1）Database 配置
（1）点击 Sources/Databases

2）点击＋

3）点击填写 Database 及 SQL Alchemy URI
Database: sc (自定义名称)
SQLAIchemy URI: mysql://root:123456@sc1/gmall_report?charset=utf8
注：SQL Alchemy URI 编写规范：mysql://账号:密码@IP/数据库名称

4）点击 Test Connection，出现“Seems Ok！”提示即表示连接成功

5）保存配置

Table 配置
（1）点击 Sources/Tables

（2）点击 Sources/Tables

（3）配置 Table

制作仪表盘

创建空白仪表盘
1）点击 Dashboards/+

2）配置仪表盘

3）保存仪表盘

创建图表

1）点击 Charts/+

2）选择数据源及图表类型

3）选择图表类型

4）创建图表

5）可修改语言为中文，方便配置

6）按照说明配置图表

7）点击“Run Query”

8）保存图表，并将其添加到仪表盘

看板布局调整

1）点击“Edit dashboard”

2）调整图表大小以及图表盘布局

鼠标长按右边ROW图标上拉，有蓝色横线提示，释放鼠标。添加列，

拖动图往相应的框放

效果图：

3）点击可调整仪表盘自动刷新时间

Superset 实战

制作地图
1）配置 Table

选择表及图表：

指定一天的数据：

2）配置 Chart

制作饼状图
1）配置 Table
此处使用地区主题表——ads_area_topic

2）配置 Char

end