Mycat分库分表详细操作
1.首先在Mycat官网下载安装包,这里就以最新的1.6版本为例,下载地址为:http://dl.mycat.io/1.6-RELEASE/
2.解压完成后,主要编辑的配置文件在conf目录下,分别为schema.xml、rule.xml、server.xml、sequence_db_conf.properties四个文件。
schema.xml主要配置物理数据库的信息,逻辑数据库名称以及表和路由策略之间的关系等;
rule.xml主要配置路由策略、拆分规则等;
server.xml主要配置逻辑数据库的信息,包括用户名、密码、端口等,也是代码中数据库连接的地址;
sequence_db_conf.properties主要配置主键自增说明。
3.配置情况
server.xml:
<?xml version="1.0" encoding="UTF-8" standalone="no"?><!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- <property name="processors">32</property> <property name="processorExecutor">32</property> <property name="bindIp">0.0.0.0</property> <property name="frontWriteQueueSize">4096</property> <property name="idleTimeout">300000</property> <property name="mutiNodePatchSize">100</property> --> <property name="defaultSqlParser">druidparser</property> <property name="mutiNodeLimitType">1</property> <property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="sequnceHandlerType">1</property><!-- sequnceHandlerType参数主要配合主键自增情况,后续进行说明--> </system> <!-- 任意设置登陆 mycat 的用户名,密码,数据库 --> <user name="test"> <property name="password">test</property> <property name="schemas">TESTDB</property> </user> <!--<user name="user"> <property name="password">user</property> <property name="schemas">TESTDB</property> <property name="readOnly">true</property> </user> --> <!-- <quarantine> <whitehost> <host host="127.0.0.1" user="mycat"/> <host host="127.0.0.2" user="mycat"/> </whitehost> <blacklist check="false"></blacklist> </quarantine> -->
</mycat:server>
其中,逻辑数据库的名称为TESTDB,用户名、密码都为test,服务端口为8066。
rule.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/"><tableRule name="role1"><rule><columns>id</columns><algorithm>mod-long</algorithm></rule></tableRule><function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">2</property></function></mycat:rule>
定义路由策略role1,该策略对分表的id进行mod2除法,对模2算法的结果进行分库。路由策略还有好多,这里就以此为例。
schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 --> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> <table name="users" primaryKey="id" dataNode="node_db01" /> <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" /> </schema> <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost --> <dataNode name="node_db01" dataHost="dataHost01" database="db01" /> <dataNode name="node_db02" dataHost="dataHost01" database="db02" /> <dataNode name="node_db03" dataHost="dataHost01" database="db03" /> <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 --> <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user()</heartbeat> <writeHost host="server1" url="127.0.0.1:3306" user="root" password="root"/></dataHost>
</mycat:schema>
通过该配置文件可以看到,物理数据库的信息为127.0.0.1:3306,root,root。数据库中有三个库,分别为db01,db02,db03。db01数据库中有表users,db02、db03数据库有表item,且主键id自增,路由策略为role1,即mod2策略。
4.创建数据库以及表
两张表users和item,三个数据库db01,db02,db03(三个库在一个数据库实例上),users只在db01中存储。
create database db01; CREATE TABLE users (id INT NOT NULL AUTO_INCREMENT,name varchar(50) NOT NULL default '',indate DATETIME NOT NULL default '0000-00-00 00:00:00',PRIMARY KEY (id))AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
item表被分割到db02和db03中存储,SQL脚本如下
create database db02;CREATE TABLE item (id INT NOT NULL AUTO_INCREMENT,value INT NOT NULL default 0,indate DATETIME NOT NULL default '0000-00-00 00:00:00',PRIMARY KEY (id))AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
create database db03;CREATE TABLE item (id INT NOT NULL AUTO_INCREMENT,value INT NOT NULL default 0,indate DATETIME NOT NULL default '0000-00-00 00:00:00',PRIMARY KEY (id))AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
5.启动测试
双击bin目录下的startup_nowrap.bat启动mycat
显示该信息代表正确启动。
新开dos命令窗口,输入命令,查看是否可以连接上逻辑数据库。
查看数据库,只有逻辑数据库TESTDB,而没有db01,db02,db03。
数据表有item、users,将db02、03的item表合二为一。
然后给item表,分别插入两条数据id为1、2的数据,发现插入的数据会分别存入db02以及db03的item表中,成功分表。
6.关于id自增报错问题的解决
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的唯一性。所以,对于自增主键的情况,mycat中提供全局sequence来实现自增主键。
首先,在server.xml配置中配置如下:
<property name="sequnceHandlerType">1</property>
sequnceHandlerType参数0代表本地文件,1数据库表方式,2时间戳方式。下面以数据库表方式为例,进行自增主键的实现。
在db02下新建表TEST_SEQUENCE,TEST_SEQUENCE为主键自增存储表,其中increment为步长,name为逻辑表名。
CREATE TABLE TEST_SEQUENCE (name VARCHAR(50) NOT NULL,current_value INT NOT NULL,increment INT NOT NULL DEFAULT 1,PRIMARY KEY(name)) ENGINE=InnoDB;
插入数据
INSERT INTO `TEST_SEQUENCE` (`name`, `current_value`, `increment`) VALUES ('item', 2, 1);
创建对应的逻辑函数
DROP FUNCTION IF EXISTS mycat_seq_nextval; DELIMITER ;;
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET
utf8 DETERMINISTIC
BEGIN
UPDATE TEST_SEQUENCE
SET current_value = current_value + increment WHERE name = seq_name; RETURN mycat_seq_currval(seq_name);
END ;;
DELIMITER ;;DELIMITER ;;
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64)
CHARSET utf8 DETERMINISTIC
BEGIN
UPDATE TEST_SEQUENCE
SET current_value = value
WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name); END ;;
DELIMITER ;;DELIMITER ;;
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET
utf8 DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT concat(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
TEST_SEQUENCE WHERE name = seq_name; RETURN retval;
END ;;
DELIMITER ;;
schema.xml配置
<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 --> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> <table name="users" primaryKey="id" dataNode="node_db01" /> <table name="item" autoIncrement="true" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" /> <table name="test_sequence" primaryKey="name" dataNode="node_db02"></table></schema>
sequence_db_conf.properties中配置
ITEM=node_db02
其中,ITEM为逻辑表名,node_db02为节点名。
可通过该语句查看是否mycat全局sequence是否设置成功,设置成功即实现主键自增。
Mycat分库分表详细操作相关推荐
- Mycat 读写分离、主从切换、分库分表的操作记录
Mycat 读写分离.主从切换.分库分表的操作记录 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等 ...
- Mycat读写分离、主从切换、分库分表的操作记录 https://www.cnblogs.com/kevingrace/p/9365840.html
[此篇文章写得不错] 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等都是系统发展迟早会遇到的技术问 ...
- mysql 配置文件在哪_MySQL+MyCat分库分表 读写分离配置
一. MySQL+MyCat分库分表 1 MyCat简介 java编写的数据库中间件 Mycat运行环境需要JDK. Mycat是中间件,运行在代码应用和MySQL数据库之间的应用. 前身: corb ...
- docker二进制安装mysql_Docker搭建MySQL读写分离主从模式 分布式数据库中间件Mycat分库分表应用...
一.MySQL读写分离主从模式 1. 下载镜像 docker pull mysql 当前最新版本:mysql Ver 8.0.19 for Linux on x86_64 (MySQL Communi ...
- MySQL单表膨胀优化之MyCat分库分表
MySQL的单表达到多少量级时性能会下降?宽表在千万量级,窄表要好一点在1200W左右.但是MySQL单表达到1500W时性能开始急剧下降! 事实上MySQL单表可以存储10亿级数据,只是这时候性能比 ...
- MyCat分库分表和读写分离
文章目录 1.MyCat 1.1.MyCat简介 1.2.Mycat对多数据库的支持 1.3.MyCAT架构 1.4.MyCat分库分表 1.5.MyCat下载与安装 1.5.1.下载mycat 1. ...
- mycat分库分表与读写分离
mycat分库分表与读写分离 Dockerfile搭建mycat 1.创建mycat的配置文件 #新建目录 mkdir /docker/mycat#切换目录 cd /docker/mycat#下载my ...
- mycat分库分表demo
关于Mycat,它是一个阿里的开源项目,用来解决分库分表的海量数据存储和查询优化,关于它的简介,可以直接参考介绍:Mycat简介. 下面对自己的demo做个记录: 我之前从192.168.68.3克隆 ...
- 细讲MyCat分库分表策略
作为服务端模式的典型代表,MyCat不仅提供了丰富的分库分表策略,也提供了非常灵活的读写分离策略,并且其对客户端的侵入性是非常小的.本文主要讲解MyCat主要提供的分库分表策略,并且还会讲解MyCat ...
最新文章
- R的一些统计分析包工具
- (015)java后台开发之web项目中如何添加jar包和删除jar包
- ffmpeg 常用基本命令和ffmpeg处理RTMP流媒体的常用命令
- typora公式zuo对齐_Markdown编辑神器-Typora
- 【持久化框架】Mybatis与Hibernate的详细对比
- pillow 初级用法
- 超详细!一文详解 SparkStreaming 如何整合 Kafka !附代码可实践
- @程序员,沟通这项核心技能你掌握了多少?
- mysql分组查询n条记录
- SCRUM的五个事件
- java支付宝开发-00-资源帖
- CTP2交易所成交回报
- Hive学习笔记(二)——数据模型
- UOS安装谷歌浏览器并设置中文
- 十年Smartbi项目经理:BI应用在银行业的发展历程和展望
- 《知乎周刊:读书这件小事》摘记及书评
- 2019.08-2020.06计算机考研指导总结篇
- C++ strtok函数详解
- java工程师的工作述职报告,java程序员述职报告
- 程序员中的奇葩,使用php构建魔兽世界