minotaur的故事_Minotaur为Mesos，Kafka和Hadoop开发开源云

minotaur的故事

今天，我很高兴地宣布“ Minotaur ”，这是我们基于AWS的开源基础架构，用于管理大数据开源项目，包括（但不限于）： Apache Kafka ， Apache Mesos和Cloudera的Hadoop发行版。 Minotaur基于AWS云形成。

当前支持以下实验室：

Apache Mesos
阿帕奇·卡夫卡
阿帕奇动物园管理员
Cloudera Hadoop
Golang Kafka消费者
Golang Kafka制片人

主管

Supervisor是基于Docker的映像，包含用于管理AWS中的节点/资源的所有必需软件。

主管设置

将此仓库克隆到repo_dir
cd到repo_dir / supervisor文件夹

在尝试构建docker映像之前，必须将一些配置文件放在config目录下：

aws_config
该文件只是常规的aws-cli配置，您必须粘贴Amazon提供的秘密和访问密钥：
```
[default]
output = json
region = us-east-1
aws_access_key_id = SECRET_KEY
aws_secret_access_key = ACCESS_KEY
```
请勿添加或删除任何多余的空格（尤其是在“ =”登录键之前和之后）。
私钥
这是您的私人SSH密钥，其公共部分已在Bastion主机上注册。
环境键
这是Supervisor应该管理的环境中所有节点的共享密钥。
ssh_config

这是一个常规的SSH配置文件，您只需要更改your_username（这是在Bastion上注册的文件）。

构建容器时，将动态处理BASTION_IP。

# BDOSS environment
Host 10.0.2.*IdentityFile ~/.ssh/environment.key User ubuntuProxyCommand  ssh -i ~/.ssh/private.key your_username@BASTION_IP nc %h %p
Host 10.0.*.*IdentityFile ~/.ssh/environment.key User ubuntuProxyCommand  ssh -i ~/.ssh/private.key your_username@BASTION_IP nc %h %p

exec up.sh ：

如果这是您首次启动主管，则将需要一些时间来构建。

随后的上升将需要几秒钟。

使用主管

现在，您可以CD到/ deploy / labs /并部署您想要的任何东西。

例：

minotaur lab deploy mesosmaster -e bdoss-dev -d test -r us-east-1 -z us-east-1a
Creating new stack 'mesos-master-test-bdoss-dev-us-east-1-us-east-1a'...
Stack deployed.

这将在“测试”部署中启动一个mesos主节点。

awsinfo

Supervisor具有内置的“ awsinfo”命令，该命令依赖于AWS API并提供有关正在运行的计算机的简要信息。它还能够搜索该信息。

使用范例

awsinfo –将显示有关在AWS中运行的所有节点的简要信息：

root@supervisor:/deploy# awsinfo
Cloud:  bdoss/us-east-1
Name                                Instance ID  Instance Type  Instance State  Private IP      Public IP
----                                -----------  -------------  --------------  ----------      ---------
nat.bdoss-dev                       i-c46a0b2a   m1.small       running         10.0.2.94       54.86.153.142
bastion.bdoss-dev                   i-3faa69de   m1.small       running         10.0.0.207      None
mesos-master.test.bdoss-dev         i-e80ddc09   m1.small       terminated      None            None
mesos-slave.test.bdoss-dev          i-e00ddc01   m1.small       terminated      None            None

awsinfo mesos-master –将显示有关在AWS中运行的所有mesos-master节点的信息：

root@supervisor:/deploy/labs# awsinfo mesos-master
Cloud:  bdoss/us-east-1
Name                                Instance ID  Instance Type  Instance State  Private IP      Public IP
----                                -----------  -------------  --------------  ----------      ---------
mesos-master.test.bdoss-dev         i-e80ddc09   m1.small       terminated      None            None

awsinfo 10.0.2 –匹配私有/公共子网：

root@supervisor:/deploy/labs# awsinfo 10.0.2
Cloud:  bdoss/us-east-1
Name                                Instance ID  Instance Type  Instance State  Private IP      Public IP
----                                -----------  -------------  --------------  ----------      ---------
nat.bdoss-dev                       i-c46a0b2a   m1.small       running         10.0.2.94       54.86.153.142
mesos-master.test.bdoss-dev         i-e96ebd08   m1.small       running         10.0.2.170      54.172.160.254

流浪汉

如果由于某种原因而不能直接使用Docker，则可以使用Vagrant包装器VM。

在使用Vagrant进行任何操作之前，请对Docker完成上述步骤，但不要执行up.sh脚本

只需cd进入vagrant目录，然后执行vagrant up ，然后执行vagrant ssh （这里没有什么特别的地方）。

当您执行vagrant ssh ，docker容器构建过程将立即产生，因此请稍等片刻，使其完成。

现在，您位于嵌套在Vagrant VM中的Docker容器中，可以按照与Docker所述相同的方式进行部署。

以下所有vagrant ssh几乎立即生成Docker容器。

一旦进入主管映像，便可以使用minotaur.py脚本来配置环境和实验室。本自述文件的其余部分假定脚本是从超级用户容器中执行的。

牛头怪命令

列出基础架构组件

root@supervisor:/deploy# ./minotaur.py infrastructure list
Available deployments are: ['bastion', 'iampolicies', 'iamusertogroupadditions', 'nat', 'sns', 'subnet', 'vpc']

打印基础架构组件使用情况

root@supervisor:/deploy# ./minotaur.py infrastructure deploy bastion -h
usage: minotaur.py infrastructure deploy bastion [-h] -e ENVIRONMENT -r REGION-z AVAILABILITY_ZONE[-i INSTANCE_TYPE]optional arguments:-h, --help            show this help message and exit-e ENVIRONMENT, --environment ENVIRONMENTCloudFormation environment to deploy to-r REGION, --region REGIONGeographic area to deploy to-z AVAILABILITY_ZONE, --availability-zone AVAILABILITY_ZONEIsolated location to deploy to-i INSTANCE_TYPE, --instance-type INSTANCE_TYPEAWS EC2 instance type to deploy

部署基础架构组件

在此示例中， bdoss-dev堡垒已经存在，因此CloudFormation堆栈已使用当前模板进行了更新。

root@supervisor:/deploy# ./minotaur.py infrastructure deploy bastion -e bdoss-dev -r us-east-1 -z -us-east-1a
Template successfully validated.
Updating existing 'bastion-bdoss-dev-us-east-1-us-east-1a' stack...
Stack updated.

列出实验室

列出所有支持的实验室。

root@supervisor:/deploy# ./minotaur.py lab list
Available deployments are: ['clouderahadoop', 'gokafkaconsumer', 'gokafkaproducer', 'kafka', 'mesosmaster', 'mesosslave', 'zookeeper']

打印实验室使用情况

打印kafka实验室使用情况。

root@supervisor:/deploy# ./minotaur.py lab deploy kafka -h
usage: minotaur.py lab deploy kafka [-h] -e ENVIRONMENT -d DEPLOYMENT -rREGION -z AVAILABILITY_ZONE [-n NUM_NODES][-i INSTANCE_TYPE] [-v ZK_VERSION][-k KAFKA_URL]optional arguments:-h, --help            show this help message and exit-e ENVIRONMENT, --environment ENVIRONMENTCloudFormation environment to deploy to-d DEPLOYMENT, --deployment DEPLOYMENTUnique name for the deployment-r REGION, --region REGIONGeographic area to deploy to-z AVAILABILITY_ZONE, --availability-zone AVAILABILITY_ZONEIsolated location to deploy to-n NUM_NODES, --num-nodes NUM_NODESNumber of instances to deploy-i INSTANCE_TYPE, --instance-type INSTANCE_TYPEAWS EC2 instance type to deploy-v ZK_VERSION, --zk-version ZK_VERSIONThe Zookeeper version to deploy-k KAFKA_URL, --kafka-url KAFKA_URLThe Kafka URL

部署实验室

部署3代理Kafka集群。

root@supervisor:/deploy# ./minotaur.py lab deploy kafka -e bdoss-dev -d kafka-example -r us-east-1 -z us-east-1a -n 3 -i m1.small
Template successfully validated.
Creating new 'kafka-bdoss-dev-kafka-example-us-east-1-us-east-1a' stack...
Stack deployed.

翻译自: https://www.javacodegeeks.com/2014/12/open-source-cloud-formation-with-minotaur-for-mesos-kafka-and-hadoop.html

minotaur的故事