本实验由两个节点组成高可用主从集群，在实际中不常用，目的是通过实验来加深对corosync的认识和理解。

1. node1:node1.magedu.com
2. ip 172.16.14.10
3. node2:node2.magedu.com
4. ip 172.16.14.11
5. VIP 172.16.14.2

1. 在node1上：
2. ssh-keygen -t rsa -P ''
3. ssh-copy-id -i ~/.ssh/id_rsa root@node2
4. 命令测试：
5. ssh node2 'ifconfig'
6. 然后再实现node2对node1的通信

1. [root@node2 ~]# date 112822022012;ssh node1 'date 112822022012'
2. Fri Nov 28 22:02:00 CST 2012
3. Fri Nov 28 22:02:00 CST 2012

4、在node1，node2上安装httpd

1. # yum -y install httpd
2. 建立测试页面，为了便于区分，将页面结果设置为不同内容
3. node1上：
4. 编辑/var/www/html/index.html写入：
5. <h1>node1</h1>
6. node2：
7. 编辑/var/www/html/index.html写入：
8. <h1>node2</h1>

1. cluster-glue
2. cluster-glue-libs
3. heartbeat
4. openaislib
5. resource-agentsyyu
6. corosync
7. heartbeat-libs
8. pacemaker
9. corosynclib
10. libesmtp
11. pacemaker-libs

1. [root@node1 ~]# crm
2. crm(live)# help
3. This is the CRM command line interface program.
4. Available commands:         ##crm使用的子命令
5. cib              manage shadow CIBs                    ##集群信息库
6. resource         resources management                  ##资源管理
7. configure        CRM cluster configuration             ##集群配置
8. node             nodes management                      ##节点管理
9. options          user preferences
10. ra               resource agents information center    ##资源代理
11. status           show cluster status                   ##显示集群状态信息
12. quit,bye,exit    exit the program                      ##退出程序
13. help             show help                             ##帮助信息
14. end,cd,up        go back one level                     ##返回上一层
15. 最常用的有：
16. 1、集群的配置用configure:
17. crm(live)# configure                  ##进入资源配置命令
18. crm(live)configure# help
19. primitive        define a resource      ##定义资源
20. group            define a group       ##定义组
21. location         a location preference  ##位置约束
22. colocation       colocate resources     ##排列约束
23. order            order resources        ##顺序约束
24. show             display CIB objects    ##显示信息
25. edit             edit CIB objects       ##进入编辑模式
26. delete           delete CIB objects     ##删除cib对象
27. commit           commit the changes to the CIB   ##提交信息
28. verify           verify the CIB with crm_verify  ##检查语法错误
29. 2、资源代理RA的信息：
30. crm(live)configure# cd
31. crm(live)# ra
32. crm(live)ra# help
33. Available commands:
34. classes          list classes and providers             ##资源代理的类别
35. list             list RA for a class (and provider)     ##显示每个类别的所有RA
36. meta             show meta data for a RA             ##资源代理的元数据
37. providers        show providers for a RA and a class   ##资源代理的提供者
38. quit             exit the program
39. help             show help
40. end              go back one level
41. crm(live)ra# classes                ##显示四种资源代理类别
42. heartbeat                           ##heartbaet V1版本
43. lsb                                 ## linux标准库
44. ocf / heartbeat pacemaker         ##Open cluster Framework 开放集群架构
45. stonith                             ##专为配置stonith设备而用
46. crm(live)ra# list lsb               ##用list可以查看每个类别的
47. crm(live)ra# list ocf
48. AoEtarget           AudibleAlarm        CTDB
49. ClusterMon          Delay               Dummy
50. crm(live)ra# list ocf heartbeat      ##查看ocf下的子类别
51. AoEtarget           AudibleAlarm        CTDB
52. ClusterMon          Delay               Dummy
53. EvmsSCC             Evmsd               Filesystem
54. ICP                 IPaddr              IPaddr2
55. //只显示部分；IPaddr是ocf类别下heartbeat子类别的资源代理；用于IP的代理；下面我们将用到
56. crm(live)ra# meta ocf:heartbeat:IPaddr        ##用meta查看某个具体资源代理的属性
57. ##使用方式  类别：子类别：资源代理
58. Parameters (* denotes required, [] the default):   ##*表示必选的，[]表示默认值
59. ip* (string): IPv4 address                    ##使用的参数；*表示必选的
60. The IPv4 address to be configured in dotted quad notation, for example
61. "192.168.1.1".
62. ...............
63. Operations' defaults (advisory minimum):       ##默认的操作
64. start         timeout=20s                  ##启动超时时间
65. stop          timeout=20s                  ##停止超时时间
66. monitor       interval=5s timeout=20s      ##每隔5s监视一次，20s是超时时间
67. 配置1个全局属性：
68. crm
69. configure
70. property stonith-enabled=false       ##是否启用stonish设备
71. verify   ##检查语法
72. commit    ##提交
73. 接下来开始配置资源了：
74. 定义资源用primitive,help一下：
75. crm(live)configure# help primitive
76. Usage:
77. ...............
78. primitive  <rsc>  [<class>:[<provider>:]]<type>
79. 资源        RA类别：提供者：哪个类型的RA
80. [params attr_list]                        ##params是关键字，指定参数
81. [meta attr_list]                          ##元数据属性
82. [utilization attr_list]
83. [operations id_spec]                     ##操作
84. [op op_type [<attribute>=<value>...] ...]   ##指定额外的属性；如超时时长

1. crm(live)configure# primitive WebIP ocf:heartbeat:IPaddr  params ip="172.16.14.2"
2. crm(live)configure# verify
3. crm(live)configure# commit
4. crm(live)configure# show
5. node node1.magedu.com
6. node node2.magedu.com
7. primitive WebIP ocf:heartbeat:IPaddr \
8. params ip="172.16.14.2"
9. property $id="cib-bootstrap-options" \
10. dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \
11. cluster-infrastructure="openais" \
12. expected-quorum-votes="2" \
13. stonith-enabled="false"
14. crm(live)configure# cd
15. crm(live)# status                     ##状态查看
16. ============
17. Last updated: Sat Dec  1 11:12:19 2012
18. Stack: openais
19. Current DC: node1.magedu.com - partition with quorum
20. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f
21. 2 Nodes configured, 2 expected votes
22. 1 Resources configured.
23. ============
24. Online: [ node1.magedu.com node2.magedu.com ]
25. WebIP     (ocf::heartbeat:IPaddr):     Started node1.magedu.com
26. //发现WebIP运行在node1上
27. //ifconfig查看；172.16.14.2在node1上
28. [root@node1 ~]# ifconfig
29. eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:76:E9:56
30. inet addr:172.16.14.2  Bcast:172.16.255.255  Mask:255.255.0.0
31. UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
32. Interrupt:67 Base address:0x2000