NoSQL-Redis详细介绍
一.Redis 知识点介绍
nosql 概述 阿里巴巴的数据架构演进 nosql 四大分类 Redis 入门及安装(Window & Linux服务器) 五大基本数据类型StringListSetHashZset 三种特殊数据类型geospatialhyperloglogbitmap Redis 事务操作 基础API 之 Jedis 详解
二.NoSQL概述
2.1 数据存储的发展
1 、单机MySQL的年代
用户通过应用访问 --> 数据库的访问层 --> 再进入mysql的实例。
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够。此时更多的是使用静态网页Html,服务器根本没有太大的压力。
思考一下,这种情况下:整个网站的瓶颈是什么? 1 、数据量如果太大、一个机器放不下了。 2 、当mysql数据超过300万条,需要建立索引 (B+ Tree),一个机器内存也放不下。 3 、访问量(读写混合),一个服务器承受不了。 只要你开始出现以上的三种情况之一,那么你就必须要晋级!
2 、Memcached(缓存) + MySQL + 垂直拆分 (读写分离)
网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦。所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率。
发展过程: 优化数据结构和索引--> 文件缓存(IO)---> Memcached(当时最热门的技术)
3 、分库分表 + 水平拆分 + MySQL集群
技术和业务在发展的同时,对人的要求也越来越高。
本质:数据库(读,写)
早些年MyISAM: 表锁(例如user表有100万条数据,当有用户通过密码查询信息,会将整张表锁起来,其它进程若要进行查询就必须等待,将会影响效率),高并发下就会出现严重的锁问题。
转战Innodb:行锁(比表锁效率高,查询时只锁当前行)。
MySQL推出了表分区,使用分库分表来解决写的压力,这个并没有多少公司使用!后来推出了MySQL的集群,很好满足了所有需求!
4 、如今的年代
2010--2020 十年之间,世界已经发生了翻天覆地的变化;其中例如定位功能,音乐抖音热榜等也是一种数据。此时,MySQL等关系型数据库就不够用了,数据量很多,变化很快。 有的使用MySQL来存储一些比较大的文件,例如文字量较大的博客,大量的图片等,导致数据库表很大,效率就低了。如果有一种数据库来专门处理这种数据,MySQL压力就变得十分小(研究如何处理这些问题)。大数据的IO压力下,表几乎没法更改。
基本的互联网项目:
2.2 为什么要用NoSQL?
例如用户的个人信息,社交网络,地理位置等,用户自己产生的数据、用户日志等等爆发式增长。这时候我们就需要使用NoSQL数据库,NoSQL可以很好的处理以上的情况。
2.3 什么是NoSQL?
关系型数据库:表格 ,行 ,列。
NoSQL = Not Only SQL (不仅仅是SQL)。泛指非关系型数据库的,随着web2.0互联网的诞生,传统的关系型数据库很难应付web2.0时代,尤其是超大规模的高并发的社区, 暴露出来很多难以克服的问题。NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!
例如很多的数据类型用户的个人信息,社交网络(大量文本),地理位置(拓扑图),流媒体(视频和音频)等,这些数据类型的存储不需要一个固定的格式(即表格数据存储进行列中),不需要多余的操作就可以横向扩展(即允许多台机器来控制的,例如集群)的 ,类似于 Map<String,Object> 使用键值对来控制。
2.4 NoSQL 特点
1、方便扩展(数据之间没有关系,很好扩展)
2、大数据量高性能(Redis 一秒写 8 万次,读取 11 万次,NoSQL的缓存记录级,是一种细粒度的缓存,性 能会比较高)
3 、数据类型是多样型的(不需要事先设计数据库,随取随用;如果是数据量十分大的表,很多人就无法设计了)
4、传统关系型数据库RDBMS 和 非关系型数据库NoSQL
传统关系型数据库RDBMS - 结构化组织,例如:表、行、列- SQL- 数据和关系都存在单独的表中- 数据定义语言、数据操作语言、数据查询语言、事务控制语言、数据控制语言- 严格的ACID- 基础的事务操作
非关系型数据库NoSQL- 不仅仅是数据- 没有固定的查询语言- 键值对存储、列存储、文档存储、图形数据库(例如社交关系的拓扑图)- 最终一致性,允许过程中有误差,结果一致即可- CAP定理和BASE理论(例如异地多活,保证整个服务器不会宕机)- 高性能、高可用、高可扩
了解:3V+3高
大数据时代的3V:主要是描述问题的
1. 海量数据Volume 2. 多样性Variety 3. 实时性Velocity
大数据时代的3高:主要是对程序的要求
1. 高并发(支持大量用户访问) 2. 高可扩(随时搭建集群,进行水平拆分,拓展机器来解决) 3. 高性能(保证用户体验和性能)
真正在公司中的实践:NoSQL + RDBMS 一起使用才是最强的
三.阿里巴巴的数据架构演进
思考问题:页面中大量的数据都是在一个数据库中的吗?
敏捷开发、极限编程、协同开发 、开源等
随着这样的竞争,业务是越来越完善,然后对于开发者的要求也是越来越高
没有什么是加一层解决不了的
例如:商城案例
# 1、商品的基本信息名称、价格、商家信息,这些信息在关系型数据库中存储即可。例如: MySQL / Oracle# 2、商品的描述、评论文字比较多,使用文档型数据库,例如:MongoDB# 3、图片分布式文件系统 FastDFS- 淘宝自己的 TFS- Gooale的 GFS- Hadoop HDFS- 阿里云 oss- 七牛云 oss# 4、商品的关键字 (搜索)- 搜索引擎 solr ElasticSearch- ISerach:多隆(淘宝)# 5、商品热门的波段信息(秒杀)- 内存数据库 Redis Tair、memecache...# 6、商品的交易,外部的支付接口- 三方应用 支付宝支付、银行支付接口、微信支付...
大型互联网应用问题: - 数据类型太多了 - 数据源繁多,经常重构 - 数据要改造,大面积改造
四.NoSQL的四大分类
KV键值对:
新浪:Redis 美团:Redis + Tair 阿里、百度:Redis + memecache文档型数据库(bson格式和json一样):
MongoDB- MongoDB 是一个基于分布式文件存储的数据库,C++ 编写,主要用来处理大量的文档 - MongoDB 是一个介于关系型数据库和非关系型数据中中间的产品- MongoDB 是非关系型数据库中功能最丰富,最像关系型数据库的产品 ConthDB列存储数据库
HBase (大数据) 分布式文件系统图关系数据库
他不是存图形,放的是关系,比如:社交拓扑图,朋友圈社交网络,广告推荐
Neo4j InfoGrid
四者对比
分类 | Examples举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
---|---|---|---|---|---|
键值(key-value) | Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB | 内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。 | Key 指向 Value 的键值对,通常用hash table来实现 | 查找速度快 | 数据无结构化,通常只被当作字符串或者二进制数据 |
列存储数据库 | Cassandra, HBase, Riak | 分布式的文件系统 | 以列簇式存储,将同一列数据存在一起 | 查找速度快,可扩展性强,更容易进行分布式扩展 | 功能相对局限 |
文档型数据库 | CouchDB, MongoDb | Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容) | Key-Value对应的键值对,Value为结构化数据 | 数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高,而且缺乏统一的查询语法。 |
图形(Graph)数据库 | Neo4J, InfoGrid, Infinite Graph | 社交网络,推荐系统等。专注于构建关系图谱 | 图结构 | 利用图结构相关算法。比如最短路径寻址,N度关系查找等 | 很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。 |
NoSQL-Redis详细介绍相关推荐
- spring boot 集成 redis 详细介绍
Spring Cache是一个框架,实现了基于注解的缓存功能,只需要简单地加一个注解,就能实现缓存功能,大大简化我们在业务中操作缓存的代码. Spring Cache只是提供了一层抽象,底层可以切换不 ...
- NoSQL数据库详细介绍
一.NoSQL发展历史 二.什么是NoSQL 三.为什么使用NoSQL 四.NoSQL vs. RDBMS 五.常见的数据库 六.NoSQL的四种类型 1.键值(Key-Value)存储 2.文档(D ...
- redis详细介绍附实例代码--看一篇就够了
自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取: https://www.cnblogs.com/bclshuai/p/11380657.html redis介绍详解附实例代码- ...
- 视频教程-零基础Redis详细案例讲解课程(第3季)---键管理、慢查询、管理命令-NoSQL
零基础Redis详细案例讲解课程(第3季)---键管理.慢查询.管理命令 十年IT经验工作经验,现任系统架构师职务,自创易学笔记序列,擅长培养新人学习能力和学习思维,授人以鱼不如授人以渔.易学笔记全栈 ...
- redis 失效时间单位是秒还是毫秒_Redis 事务与过期时间详细介绍
Redis 事务与过期时间详细介绍 一.Redis事务: Redis中支持事务,事务即为当我们需要执行几条命令时,要么这几条命令都不执行,要么都执行: 1.开始事务写入: multi 2.然后写入命令 ...
- NoSQL数据库之Redis数据库:Redis的介绍与安装部署(redis-2.8.19/3.2.5)
NoSQL(NoSQL = Not Only SQL),它指的是非关系型的数据库.随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的w ...
- Redis 学习笔记-NoSQL数据库 常用五大数据类型 Redis配置文件介绍 Redis的发布和订阅 Redis_事务_锁机制_秒杀 Redis应用问题解决 分布式锁
1.NoSQL数据库 1.1 NoSQL数据库概述 NoSQL(NosQL = Not Only sQL ),意即"不仅仅是sQL",泛指非关系型的数据库.NoSQL不依赖业务逻辑 ...
- 吃透Redis系列(五):RDB和AOF持久化详细介绍
Redis系列文章: 吃透Redis系列(一):Linux下Redis安装 吃透Redis系列(二):Redis六大数据类型详细用法 吃透Redis系列(三):Redis管道,发布/订阅,事物,过期时 ...
- 地理位置处理---Redis的GeoHash和MySQL的geography类型(之后有空再详细介绍)
地理位置处理-Redis的GeoHash和MySQL的geography类型(之后有空再详细介绍) 最近比较忙,本来很早就想写对比文章了,这里先大致写写,等之后有空再详细介绍吧.这个文章我本地MD笔记 ...
- Redis的介绍和使用(NoSQL、Jedis)
Redis 本次介绍以下几个内容: NoSQL介绍 Redis介绍 Jedis的API 使用工具类来连接Redis NoSQL介绍 NoSQL概念 Not Only SQL:不仅仅是SQL,指的就是非 ...
最新文章
- 关于操作日志表的设计问题
- 每天一个linux命令(56):netstat命令
- 音乐社交APP源码项目
- SSH进阶(2)——用Struts拦截器实现登陆限制
- Linux【环境部署 02】yum源镜像下载+挂载镜像+本地yum源配置+局域网yum源服务搭建+局域网yum源使用(一篇学会离线yum源配置)
- php桌面快捷方式图标,window_Win10桌面图标没了怎么办?Win10桌面快捷方式消失了解决方法,不少使用windows10系统的朋友都 - phpStudy...
- 大话西游2服务器修改,大话西游2:9.17维护解读:五倍次数修改全服上线,灵兽村要变样啦...
- python123数字转换_Python 中文(大写)数字转阿拉伯数字(转)
- 第12篇:给任意java程序挂Socks5代理方法
- win10小喇叭出现红叉,解决办法(转)
- 音乐计算机ut乐谱大全,Flash钢琴乐谱大全.doc
- 在空间绘制出一系列螺旋上升的点
- windows已经阻止此软件因为无法验证发行者,然后就是IE的控件iNetOffice5.CAB不能安装?
- 如何用NLP技术和标题党说拜拜-文本摘要
- python中x、y=y、x_浅谈 (x, y) = (y, x)
- animals中文谐音_Animals谐音歌词,Maroon5《animals》英语歌曲中文音译
- 前端04 /css样式
- 主成分分析(Principal Component Analysis)
- CentOS8 手工编译安装 Realtek 8125 2.5G网卡驱动
- FIR滤波器、单位冲激响应、线性相位、窗函数法
热门文章
- QT嵌入式QT支持中文显示(zynq)
- 软件崩溃时 将堆栈信息写入dump文件, 并使用VS2010定位程序崩溃位置
- 用户态和内核态的切换
- java sax 解析excel,使用EasyExcel导入导出Excel报表-JAVA解析Excel工具
- 2021-09-10 文件上传时,文件的格式的区别,如application/x-www-form-urlencoded
- Linux下对SD卡分区操作
- C++文件编程(文件流操作)
- 【IoT】智能硬件:如何获取硬件产品的wifi信号强度
- maven多模块项目管理及parent标签
- NLog日志框架-输出文件数量与大小控制