之前说到了主从集群,关于主从集群的搭建以及细节后面会再次分享,这次我们先初步来看看 分片集群

举个例子

例如我们有几百G甚至更多的数据,可是我们只有单个副本集,数据量这么大,网络 IO ,CPU ,内存占用 消耗都会非常的大,一个集群可能吃不消

那么我们可以分片 , 分片也就是分而治之

分片

分片,分为

  • 垂直分布

可以提高集群节点的性能,但是这个方式是有瓶颈的,例如我们一台服务器,内存占用较高,我们可以通过增加服务器的内存在处理

  • 水平分布

例如我们的服务器,内存占用较高,我们可以增加服务器的数量,增加集群的数量,这样服务器一多,维护成本也就线性增加,性能也是线性提升的

实际情况下,如果我们的数据增长非常大,那么肯定会有冷热数据的区分,对于冷数据,我们可以将数据放到差一些的服务器,很少会用到查询操作或者写操作,对于热点高频数据,我们就可以放到高性能的服务器上面,且要做好扩展

为什么要用分片集群?

我们为什么要使用分片集群呢?还是因为数据量太大,需要我们分成一小块一小块的分别来处理,这样才得以解决数据量大的问题

分片集群就是 Mongdb 在多台计算机之间分配数据的集群部署方式

通过上面的例子我们可以知道,就是可以将大型的数据,进行区分成相对更小并且易于管理的小片,将这些数据片分给不同的 mongodb 节点,这些节点,就组成了分片集群

对于分片集群,我们需要熟悉一下如下角色:


Router 路由器:

路由器,这里是 mongos 服务,当做是一个路由器,在客户端程序需要分片的时候可以提供接口

Shard 分片:

每个 Shard 分片包含共享数据的子集,每个Shard 分片是可以部署主从集群的,所以,分片集群,其实就是多个主从集群

config server 配置服务:

配置服务存储集群的元数据和具体的配置设置,mongodb 逐步发展,必须要将配置服务部署为副本集了,这个是 mongodb 3.4 版本开始的

为什么要把 mongos 放到客户端?

  • 可以较少网络开销,例如分片在别的网络上面的时候,若客户端想要做路由,mongos 就在本地,那么在本地就可以完成路由,如果 mongos 在服务端,那么就多出相互通信的数据包,增加网络开销

  • 如果 config server 的配置发生改变了,一般的情况下,是需要通过我们的 mongos 来进行修改的,修改后需要重新加载数据

    而不是我们登陆到某一个 config server 上修改数据,这样会造成数据混乱,不能这样干

今天暂时了解一下基本的知识点,下一次我们一起来搭建一下 mongodb 的集群,以及部署中可能会遇到的坑

学习所得,若有偏差,还请斧正

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力


好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

MongoDB 分片集群相关推荐

  1. 搭建MongoDB分片集群

    在部门服务器搭建MongoDB分片集群,记录整个操作过程,朋友们也可以参考. 计划如下: 用5台机器搭建,IP分别为:192.168.58.5.192.168.58.6.192.168.58.8.19 ...

  2. mongodb 启动_精心总结--mongodb分片集群启动与关闭

    概述 网上教程有点坑啊,很多bug,今天刚好涉及到所以抽空整理了下mongodb分片集群启动与关闭方面的教程.希望对大家有点帮助. 基础环境配置 192.168.240.145 测试Nosql服务器1 ...

  3. MongoDb分片集群认证

    本文主要基于已经搭建好的未认证集群,结合上篇Mongodb副本集分片集群模式环境部署(https://www.cnblogs.com/woxingwoxue/p/9875878.html), Mong ...

  4. 实战:MongoDB 分片集群Shard Cluster 搭建(1台路由节点,3台配置节点,9台分片节点)

    MongoDB 分片集群搭建(分片集群安全认证+SpringBoot访问) 一.搭建要求 一台路由节点 IP地址:192.168.80.110 端口:11111 三套复制集(每个分片节点中的复制集 都 ...

  5. DOCKER-COMPOSE搭建MONGODB分片集群(单机版)

    docker-compose搭建mongodb分片集群(单机版) - 丰哥坑到 - 博客园

  6. MongoDB——MongoDB分片集群(Sharded Cluster)两种搭建方式

    MongoDB分片集群(Sharded Cluster)两种搭建方式 MongoDB分片的概念 分片集群包含的组件 分片集群架构目标 MongoDB分片集群搭建 第一套副本集 第二套副本集 配置节点副 ...

  7. 2021-05-12 MongoDB面试题 什么是MongoDB分片集群

    什么是MongoDB分片集群? Sharding cluster是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建.sharding分片很好的解决了单台服务器磁盘空 ...

  8. TiDB和MongoDB分片集群架构比较

    此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 最近阅读了TiDB源码的说明文档,跟MongoDB的分片集群做了下简单对比. 首先展示TiDB的整体架构 M ...

  9. mongodb分片集群突然停电造成一些错误,分片无法启动

    今天突然停电使mongodb分片集群造成这种错误,暂时不知道怎么解决,如果 有人知道请回复我 ,现在把记录下来,等后期处理. Fri Aug  8 10:49:52.165 [initandliste ...

  10. mongodb 分片集群安装 -- 二进制文件安装

    一.安装前准备 机器分配: 三台机器 A :192.168.19.101 B: 192.168.19.102 C: 192.168.19.103 A机器:mongos .config server.s ...

最新文章

  1. intellij idea 必知的debug功能
  2. 1、leetcode704 二分查找*
  3. java图片转成字符串_JAVA将图片(本地或者网络资源)转为Base64字符串,将base64字符串存储为本地图片...
  4. textmetric结构
  5. 详述MySQL Using intersect交集算法
  6. python itertools卡死_Python使用itertools模块来解决算法问题,python
  7. 跟我一起学docker(15)--监控日志和日志管理
  8. ES5_03_Object扩展
  9. 分享几个程序员接活赚外快的平台
  10. OpenJudge1661:Bomb Game(翻译 day 6)
  11. java水泡_FrozenBubble java实现的泡泡龙游戏,完整 逻辑,关卡功能,分数记录。 Games 240万源代码下载- www.pudn.com...
  12. Excel VBA简介
  13. java tld tag_jsp中引用的tag和tld文件
  14. php 会议室源码,PHP和jQuery实现会议排座管理.doc
  15. 折腾修改SQLCipher静态库的符号表
  16. 交换游戏 (记忆化搜索 状压)
  17. python语言幂运算符号_python的基础运算符号
  18. 【Delphi】中使用消息Messages(七)Android 系统消息
  19. 疯狂的“元宇宙”炒房:有玩家囤了100套房,不到半年翻6倍
  20. 使用POI操作Excel时new XSSFWorkbook ()报错java.lang.NoSuchMethodError解决方式

热门文章

  1. HTML-CSS-JS编码规范
  2. 传奇gm命令怎么用_传奇GM命令
  3. JAVA 格式化英文日期
  4. mob sdk vue 短信验证_vueCli集成环信SDK
  5. 行业数据治理和社会面上的数据治理的主要内容有哪些?
  6. Bochs源码分析 - 15:bochs对于call far(tss_sel)指令的实现机制
  7. 树莓派3B连接wifi
  8. 全球畅销手机榜单出炉:除三星、苹果外,仅有一家国产品牌入选
  9. 基于ssm开发的求职简历管理网站
  10. excel亮灯怎么设置_Excel这些超简单的聚光灯制作方法,核对数据再也不用愁!...