前段时间部门要求研究airflow，大概记录一下安装的步骤。airflow是一个python实现的工作流管理平台，官网：http://airflow.incubator.apache.org/

安装环境和必要软件

ubuntu 16.04

Python3

mysql

redis

如果无法安装 某些软件 ，更新一下系统源

更改为阿里云源

简单步骤：

1 先安装Python3 ubuntu 16.04 自带python3 可以直接跳过

apt-get install python3

2 配置软链接

命令 python，进入python命令环境，看当前使用的版本是否是python3，如果不是，需要配置软链接

sudo ln -s /usr/bin/python3.5 /usr/bin/python

3 安装pip

命令 pip，确认pip是否正常 如果不正常 按照提示安装

apt install python3-pip

4 新增系统账号

adduser newuser

同时更改配置文件，使其有sudo权限

vim /etc/sudoers

在文档中添加如下

johnny ALL=(ALL:ALL) ALL

或者用命令方式新增：

sudo useradd -m johnny -s /bin/bash

sudo passwd johnny

sudo adduser johnny sudo

5 airflow安装

5.1通过pip安装

pip install airflow

还有其他安装方式，可以参考官方文档上的安装命令

5.2 在shell中配置环境airflow目录

export AIRFLOW_HOME=~/airflow

5.3 初始化数据库

airflow initdb

5.4 开启web服务, default port is 8080

airflow webserver -p 8080

然后 能在浏览器里打开 管理网页 airflow 安装成功

6 安装mysql

apt-get install mysql-server

apt-get install mysql-client

sudo apt-get install

libmysqlclient-dev

安装过程中会提示设置密码什么的，注意设置了不要忘了，安装完成之后可以使用如下命令来检查是否安装成功：sudo netstat -tap | grep mysql

通过上述命令检查之后，如果看到有mysql 的socket处于 listen 状态则表示安装成功。

登陆mysql数据库可以通过如下命令：

mysql -h ip -u root -p

启动service mysql start

python安装mysqldb库

sudo apt-get install python3-mysqldb

PS:

mysql远程访问有点问题  估计是哪里配置没配好

直接改账号为localhost 登录权限

grant all PRIVILEGES on airflow.* to airflow@'localhost'  identified by 'password';

7 新建数据库 airflow

新增外部访问账号

grant all PRIVILEGES on airflow.* to airflow@'ip' (airflow@'10.16.7.114')  identified by 'password';

PS:

mysql远程访问有点问题  估计是哪里配置没配好

直接改账号为localhost 登录权限

grant all PRIVILEGES on airflow.* to airflow@'localhost'  identified by 'password';

8 Redis(未配置自动启动)

安装：

wget http://download.redis.io/releases/redis-2.8.17.tar.gz

tar xzf redis-2.8.17.tar.gz

cd redis-2.8.17

make

redis安装好了

在路径/usr/local/redis/bin 下

或者最快的方式就是用apt安装

sudo apt-get install redis-server

9 安装celery支持

pip install airflow[celery]

10 配置文件修改 支持mysql ，celery ，redis

有些不完整，具体配置见官方文档

executor = CeleryExecutor

sql_alchemy_conn =mysql://aiedlow:aeflow@locahost:3306/airflow

brker_url= redis://127.0.0.1:6379/2

celery_result_backend =redis://127.0.0.1:6379/

11 Celery + Rabbitmq: 安装Rabbitmq

参考如下文档进行

2 修改配置文件：

broker_url = amqp://admin:admin@localhost:5672

celery_result_backend = redis://127.0.0.1:6379/2