实战mariadb-galera集群架构
day6
复习昨天的内容:
数据库代理--数据库中间件
功能: |
负载均衡LB:将客户端请求以相对均衡的方式分发给后端的服务器; 读写分离:能够区分读和写,将相应的操作分汉给对应的服务; 分库分表分片:提高读性能,让后端服务器缓冲不同的数据; sql路由并发查询:将一条 复杂的sql语句分成多条 sql语句,分发给后端对应的服务器。 |
软件: |
mysql-proxy和atlas:mysql官方的,使用的公司有魔兽世界 mycat:在阿里马马cobar上的二次开发,是一个神话 |
数据库高可用――HA
1、什么是高可用?
表示法:百分比、9规则
例如:0.99999%代表一年中只能有5分钟的宕机时间(365天*24*60*0.00001=5.256分)
宕机造成的损失和降低宕机时间所花费的成本的衡量
一般能做到两个9(3天)、3个9(8h)、4个9(52.56分)
2、宕机的原因归纳
硬件上最普遍的问题是磁盘空间耗尽;
性能上最普遍的问题是糟糕的sql语句;
复制问题通常是主备数据不一致导致的;
人为误操作
3、如何实现高可用
降低故障率
优化架构
4、数据库高可用软件
mariadb galera cluster
mysql NDB cluster
5、mariadb galera cluster
功能 |
同步复制 新节点加入自动同步数据 失效节点自动清除 |
优势 |
没有延迟 拓展能力强 |
适用架构 |
6、网络拓扑
序号 |
主机名 |
IP地址 |
必备软件(本例用mariadb-10.0.3) |
1 |
node25 |
192.168.10.25 |
mariadb-server、mariadb-cluster-server |
2 |
node26 |
192.168.10.26 |
mariadb-server、mariadb-cluster-server |
3 |
node27 |
192.168.10.27 |
mariadb-server、mariadb-cluster-server |
4 |
node11 |
192.168.10.11 |
atlas或mysql-proxy、MyCat等dbproxy代理软件 |
7、软件和版本:
下载安装
###galera-10.0.31官方rpm包下载(以下实验首选):
centos6版的galera-10.0.31软件(首选):http://yum.mariadb.org/10.0.31/centos6-amd64/rpms/
centos7版的galera-10.0.31软件(首选):http://yum.mariadb.org/10.0.31/centos7-amd64/rpms/
###galera-10.3官方rpm包下载(已测试OK):
centos6版的galera-10.3软件:http://yum.mariadb.org/10.3/centos6-amd64/rpms/
centos7版的galera-10.3软件: http://yum.mariadb.org/10.3/centos7-amd64/rpms/
专家建议:直接在官网下载整个rpms目录中的rpm软件包。然后在本地搭建galera安装包yum源,进行安装。
galera-10.0.31版的安装(本例已测OK):
yum search galera
yum install -y MariaDB-Galera-server MariaDB-client galera rsync mlocate createrepo
rpm -q MariaDB-Galera-server MariaDB-client galera
ls /etc/my.cnf.d/
galera-10.3版安装(测试OK):
yum search galera
yum install MariaDB-server MariaDB-client galera rsync mlocate createrepo -y (配置方法同下)
rpm -q MariaDB-server MariaDB-client galera
ls /etc/my.cnf.d/
galera集群配置思路:
1、在每台主机上停止运行mysqld或mariadb服务。并设置服务为开机不启动。
2、在每台主机上安装galera软件,并启动mysql服务(此处是galera的服务)。
3、在每台主机上创建用于galera同步数据的用户账号,停止mysql服务(此处是galera的服务)。
4、设置每台galera主机的配置文件/etc/my.cnf.d/server.cnf,保证设置正确。
5、初始化启动第1台galera主机的集群环境:
service mysql stop
servicemysql start --wsrep-new-cluster
mysql-uroot -p -e "show status like'wsrep_%';"
6、启动其他galera主机,验证集群状态:mysql -uroot -p -e "show status like 'wsrep_%';"
8、修改hosts文件,实现本地主机名解析
修改系每台galera主机的hosts文件,实现本地域名解析(选做,不做也不影响)。
高效率技巧:在一台主机上创建好,用scp远程推送复制到其他主机。
vi /etc/hosts 添加如下内容
192.168.10.25 node25
192.168.10.26 node26
192.168.10.27 node27
192.168.10.11 node11
9、关闭安全功能
配置防火墙规则,参考官方的说明,我这里偷懒就直接关闭了防火墙。
service iptables stop
chkconfig iptables off
setenforce 0
getenforce
sed -i '/^SELINUX=/s/enforcing/permissive/' /etc/selinux/config
10、用vsftpd在物理机共享galera软件包(192.168.10.1)。
第1步:安装并共享galera软件包。
yum install -y vsftpd ftp lftp
service vsftpd restart
chkconfig vsftpd on
cp -rv galera /var/ftp/
firefox ftp://127.0.0.1
第2步:创建galera.repo网络yum源,并测试。
vi /etc/yum.repos.d/galera.repo
[7galera]
name=galera
baseurl=ftp://192.168.10.1/galera
enabled=1
gpgcheck=0
第3步:测试yum源和仓库
yum clean all
yum repolist
yum search galera
11、需要先卸载mariadb-libs或mysql-libs
说明:不卸载会导致冲突,服务无法正常运行。
centos7 |
centos6.5 |
rpm -e mariadb-libs --nodeps rpm -e mariadb-common --nodeps |
rpm -e mysql-libs --nodeps rpm -e mysql-common --nodeps |
彻底卸载mysql-server:yum remove mysql-server mysql mysql-libs mysql-compact |
12、初始安装配置
安装MariaDB和galera软件
yum search galera yum install -y MariaDB-Galera-server MariaDB-client galera rsync mlocate createrepo rpm -q MariaDB-Galera-server MariaDB-client galera ls /etc/my.cnf.d/ |
安装和初始化MariaDB数据库并启动MariaDB服务,并作安全加固
centos7 |
centos6.5 |
systemctl restart mysql mysql_secure_installation systemctl stop mysql |
service mysql restart mysql_secure_installation service mysql stop |
说明:系统提供了mysql和mariadb两个服务脚本,可用service mariadb restart来重启。 |
附加需求:在每台主机启动mysql服务后,用grant创建两个Mysql账号,一个管理员账号admin,密码也用admin,再创建一个普通账号。
mysql -uroot grant all on *.* to admin@'%' identified by 'admin' with grant option; grant all on *.* to myroot@'%' identified by 'reppass'; FLUSH PRIVILEGES; select user,host,password from mysql.user; exit |
13、配置文件讲解
主配置文件:/etc/my.cnf
附加功能配置文件:/etc/my.cnf.d/*.cnf
查galera的API动态链接库文件路径:
updatedb
locate libgalera_smm.so
vi /etc/my.cnf.d/galera.cnf 参考代码如下
[galera] #Mandatory settings #启用wsrep API接口 wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so #启动节点时需要指定galera cluster的地址,作为cluster中第一个启动的节点wsrep_cluster_address="gcomm://",对于后续启动的节点用wsrep_cluster_address="gcomm://ip1,ip2,ip3 " wsrep_cluster_address="gcomm://" ##wsrep_cluster_address="gcomm://192.168.100.70,192.168.10.71,192.168.10.72" #集群名称(群名),所有node必须一样 wsrep_cluster_name="galera" #本节点的地址 wsrep_node_address=192.168.100.70 #本节点名称 wsrep_node_name=node70 #Snapshot Stat Transfer快照状态转移方法:mysqldump/rsync,默认mysqldump wsrep_sst_method=rsync #mysqldump同步账号和密码(grant授权的账号和密码) wsrep_sst_auth="myroot:reppass" #binlog的格式也有三种:STATEMENT、ROW、MIXED binlog_format=ROW #默认存储引擎 default_storage_engine=innodb #调整锁策略 innodb_autoinc_lock_mode=2 #本机的监听地址 bind-address=0.0.0.0 #每隔0秒同步刷新数据 innodb_flush_log_at_trx_commit=0 #设置utf8为默认字符集 #character_set_server=utf8 #指定binlog日志文件 log-bin=mysql-bin |
14、galera集群配置文件
node25主机的配置文件(192.168.10.25)
vim /etc/my.cnf.d/galera.cnf
[galera] #Mandatory settings wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so wsrep_cluster_address="gcomm://" ##wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27" wsrep_cluster_name="galera" wsrep_node_address=192.168.10.25 wsrep_node_name=node25 wsrep_sst_method=rsync wsrep_sst_auth="myroot:reppass" binlog_format=ROW default_storage_engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 innodb_flush_log_at_trx_commit=0 #character_set_server=utf8 log-bin=mysql-bin |
15、重启服务。
service mysql restart
#查看本机mysql服务端口
netstat -ntpl | grep sql |
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 15065/mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 15065/mysqld |
16、其他galera节点上面做相同的配置
需求:依次启动其他galera节点,其他节点会根据配置自动加入到集群中并同步数据,一定要关闭防火墙和SELinux安全功能。
service iptables stop ; chkconfig iptables stop
setenforce 0 ; getenforce
service firewalld stop ; chkconfig firewalld off
node26主机的配置文件(192.168.10.26)
vim /etc/my.cnf.d/galera.cnf
[galera] #Mandatory settings wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so ##wsrep_cluster_address="gcomm://" wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27" wsrep_cluster_name="galera" wsrep_node_address=192.168.10.26 wsrep_node_name=node26 wsrep_sst_method=rsync wsrep_sst_auth="myroot:reppass" binlog_format=ROW default_storage_engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 innodb_flush_log_at_trx_commit=0 #character_set_server=utf8 log-bin=mysql-bin |
说明:galer集群中的其他主机的galera.cnf配置文件请参考集群成员主机192.168.10.26(node26)的配置文件。
17、观察日志
cat /var/lib/mysql/node1.example.com.err
cat /var/lib/mysql/grastate.dat
18、在galera主机上查看集群状态
mysql -uroot -p show global status like 'wsrep%'; |
登录 查看集群wsrep接口状态 |
19、galera集群关机问题
第1步:逐一关闭galera成员主机。
第2步:最后关闭galera集群的群主主机。
异常处理:当机房突然停电,所有galera主机都非正常关机,来电后开机,会导致galera集群服务无法正常启动。如何处理?
20、galera集群开机问题。
第1步:开启galera集群的群主主机的mysql服务。
第2步:开启galera集群的成员主机的mysql服务。
异常处理:galera集群的群主主机和成员主机的mysql服务无法启动,,如何处理?
解决方法一:第1步、删除garlera群主主机的/var/lib/mysql/grastate.dat状态文件,service mysql restart重启服务。启动正常。登录并查看wsrep状态。
第2步:删除galera成员主机中的/var/lib/mysql/grastate.dat状态文件,service mysql restart重启服务。启动正常。登录并查看wsrep状态。
解决方法二:第1步、修改garlera群主主机的/var/lib/mysql/grastate.dat状态文件中的0为1,service mysql restart重启服务。启动正常。登录并查看wsrep状态。
第2步:修改galera成员主机中的/var/lib/mysql/grastate.dat状态文件中的0为1,service mysql restart重启服务。启动正常。登录并查看wsrep状态。
21、模拟故障实验
1、 安装了3个节点
2、 关闭第一个节点后重启服务,需要修改配置文件
3、 关闭第3个节点,去查看错误日志文件,在集群中创建库,重启服务,看是否能够同步到数据。
22、mysql-proxy数据库代理前端(中间件)
可用软件:atlas、mysql-proxy、MyCat等
本例软件:Atlas代理
##安装配置atlas读写分离(192.168.10.11)
service iptables stop
chkconfig iptables off
setenforce 0
getenforce
sed -i 's/^SELINUX=enforcing/SELINUX=permissive/' /etc/selinux/config
grep '^SELINUX=' /etc/selinux/config
安装和配置atlas软件
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
echo"PATH=$PATH:/usr/local/mysql-proxy/bin/" > /etc/profile.d/mysql-proxy.sh
source /etc/profile.d/mysql-proxy.sh
ll /usr/local/mysql-proxy/
##mysql-proxy文件功能说明:
bin目录下放的都是可执行文件
“encrypt”是用来生成MySQL密码加密的,在配置的时候会用到
“mysql-proxy”是MySQL自己的读写分离代理
“mysql-proxyd”是360弄出来的,后面有个“d”,服务的启动、重启、停止。都是用他来执行的
conf目录下放的是配置文件
“test.cnf”只有一个文件,用来配置代理的,可以使用vim来编辑
lib目录下放的是一些包,以及Atlas的依赖
log目录下放的是日志,如报错等错误信息的记录
进入bin目录,使用encrypt来对数据库的密码进行加密,我的MySQL数据的用户名是admin,密码是admin,我需要对密码进行加密
cd /usr/local/mysql-proxy/bin/
./encrypt admin 生成加密密码,并复制此密码la1Ux+Bu4zo=
cd /usr/local/mysql-proxy/conf/
cp -v test.cnf test.cnf.bak //备份test.cnf配置文件
vi test.conf 修改后的读写分享的完整配置文件内容
[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses =192.168.100.25:3306
proxy-read-only-backend-addresses =192.168.100.26:3306@1,192.168.100.27:3306@2
pwds = admin:la1Ux+Bu4zo=, myroot:esSF+VYp1RM=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:3306
admin-address = 0.0.0.0:2345
设置mysql-proxyd开机启动:
echo "/usr/local/mysql-proxy/bin/mysql-proxyd test start" >> /etc/rc.local
/usr/local/mysql-proxy/bin/mysql-proxyd test stop
source /etc/rc.local
lsof -i:3306 查端口
netstat -atunlp |grep sql 查mysql网络进程
tcpdump抓包: tcpdump -i eth0 port 3306
说明:抓取经过192.168.10.11代理主机的eth0网卡的3306端口的数据包,验证读写分离效果。
登录测试:mysql -uadmin -padmin -h 192.168.10.11 -P3306
登录到atlas管理端:mysql -uuser -ppwd -h 192.168.10.11 -P2345
-------------------------------------------------
启动atlas服务:/usr/local/mysql-proxy/bin/mysql-proxyd test start
重启atlas服务:/usr/local/mysql-proxy/bin/mysql-proxyd test restart
查状态:/usr/local/mysql-proxy/bin/mysql-proxy test status
23、phpadmin部署(centos7系统)
第1步:安装软件。
yum install -y httpd php php-mysql
yum install -y php-mbstring-5.4.16-36.el7_1.x86_64.rpm (要先下载此包)
wget phpMyAdmin-4.4.15-all-languages.tar.bz2
未完,待续.....
本文转自rshare 51CTO博客,原文链接:http://blog.51cto.com/1364952/1955624,如需转载请自行联系原作者
实战mariadb-galera集群架构相关推荐
- mariadb Galera集群部署
MariaDB Galera Cluster介绍 Galera Cluster是Codership公司开发的一套免费开源的高可用方案,Galera Cluster即安装了Galera的Mariadb集 ...
- MariaDB Galera 集群安装配置
MariaDB Galera Cluster 介绍 MariaDB Galera Cluster 是开源的 MariaDB同步多主机集群.它仅支持XtraDB/ InnoDB存储引擎.MariaDB作 ...
- mariadb galera 集群部署
linux下安装MariaDB Galera Cluster 环境: OS: CentOS 7 DB: mariadb-galera-10.0.31 1.安装步骤 1.1 环境部署 节点角色 ip ...
- mysql galera haproxy_安装配置Haproxy代理MySQL Galera集群
这篇文章,我讲介绍如何为MariaDB Galera 集群添加负载均衡,大致步骤如下:确认所有Galera节点作为一个单一集群运行(所有节点都是主节点而且相互同步) 安装Haproxy(你可以安装到独 ...
- 私有云办公平台大规模集群/企业级集群/小型工作室集群解决方案:NextCloud集群部署方案--NextCloud集群架构设计
原作者:NextCloud文档库 转载来源:https://docs.nextcloud.com/server/11/admin_manual/installation/deployment_reco ...
- MySQL Galera 集群安装与配置详解
galera 集群概述与搭建 Galera replication原理 从客户端看整体的流程 其中对应的角色分为2个:协调者和参与者 协调者: 1. 接收客户端请求 2. 广播请求到其他参与者(包括自 ...
- mysql galera集群搭建_搭建mysql_galera数据库集群
1,Mariadb Galera Cluster 集群介绍 Mariadb Galera Cluster 是MySQL高可用性和可扩展的解决方案 Mariadb Galera Cluster 是一套在 ...
- mysql架构 视频_企业常见MySQL架构应用实战(高可用集群系统+调优经验)视频课程...
第一章 MySQL企业常用架构应用实战(主从复制+性能调优) 1.企业级MySQL发行版Percona Server.MariaDB选型 2.常用MYSQL性能调优策略之系统级别调优(1) 3.常用M ...
- 企业级集群架构体系实战(一)
企业级集群架构体系实战(一) 企业级集群架构体系实战一 1试验拓扑图 总体层次划分拓扑简图 2试验准备 3前端接入层调度器部署及高可用配置 node1node2 4缓存层部署及动静分离配置 node3 ...
最新文章
- 视觉进阶 | 用于图像降噪的卷积自编码器
- 异常处理原则--good
- 记事本贪吃蛇游戏代码_如何用Python10分钟绘制贪吃蛇小游戏?
- 兴义高考八中2021成绩查询,兴义第八中学2021年录取分数线
- 给硬件工程师介绍SAP Cloud for Customer
- 数学学得好,才可以发现别人发现不了的挣钱良机
- 计算机启动完成后操作系统负责管理的是,终极:如果计算机启动后无法进入系统,旧驱动程序会教您如何处理...
- 关卡 动画 蓝图 运行_UE4无缝过场动画
- python tkinter库四则运算_python tkinter 编写心理学试验程序干扰任务之四则运算 psychopy...
- 在实际项目中应用NHibernate
- 基于苹果自研芯片的 Mac 电脑对安全意味着什么?
- 动图:七分钟帮你理解什么是KMP算法?
- SharePoint 2013 创建web应用程序报错This page can’t be displayed
- mac safari 下载pdf
- 数字化转型六图法:数据地图
- 做短视频,素材、工具缺乏怎么办?听我说完,没那么难做,别放弃
- 坚持早睡早起,我收获了...
- 微信支付商户号商家转账到零钱现金红包如何开通
- 单层感知器的学习规则
- 守望先锋地图英文和英雄英文