日增30-40亿数据量的数据库

author：skate

time：2010-08-13

前几天和个朋友聊天，他说他有每天30-40亿条数据量的数据库如何规划与优化，简单了解需求是这30-40亿数据是每天
采集的，然后同时还对这些采集的数据进行分析挖掘，对于这么大量的数据量有几个问题需要考虑

1. 如何保证性能，如何规划数据库的整体架构
2. 数据存储如何规划
3. 数据库的备份

1. 如何保证性能

据我理解的需要，这30-40亿数据采集来主要用于分析，那可以把数据按不同类别存储在不同的表中（或分区表），假如分10类，那平均每个类表的数据量就是3亿条，还是很多，对于挖掘分析还是慢，那就再细化，例如把每个类表按每小时分区，每个小时做一次汇总统计，
把数据统计到汇总表里，这样每个小时类表的数据量平均大概是1200万条数据，这个数据量应该就不算太大了，这个只是汇总分析的
思路，然后再考察系统还要提供大量用户的查询，写高效的sql，优化数据库，os参数等可以提高数据库响应速度，但毕竟是有限的，
因为对于这样的数据量系统，一般磁盘io才是最重要的瓶颈，为了减少提高整体的响应速度，要遵守一条原则，就是想办法把数据靠近
cpu，cache是最好的办法，可以大量减少对磁盘的冲击，从而提高响应速度。

对于长期保留数据，汇总表也会越来越大，可以采用数据库分布式等（这要根据业务需求）

总的原则就是大事化小，小事化无

2. 数据存储如何规划

存储空间的规划，每天几个T的数据量增长，一定要规划的数据的存储，可以根据数据的重要程度，分级存储，对不用的历史数据及
时下线存储，以为生产提供空间

3. 数据库的备份

制定合理的满足需求的数据库备份，备份和恢复要平和考虑。备份终于一切

----end---

日增30-40亿数据量的数据库相关推荐

现身说法：实际业务出发分析百亿数据量下的多表查询优化
今天给大家带来的讨论主题是通过实战经验来对百亿数据量下的多表数据查询进行优化,俗话说的好,一切脱离业务的架构都是耍流氓,接下来我就整理一下今天早上微信群里石头哥给大家分享的百亿数据量多表查询架构以及优 ...
入职第一天，老板竟然让我优化5亿数据量，要凉凉？
jsoncat:https://github.com/Snailclimb/jsoncat[1] (仿 Spring Boot 但不同于 Spring Boot 的一个轻量级的 HTTP 框架) 前段 ...
Redis基本使用及百亿数据量中的使用技巧分享
作者:依乐祝原文地址:https://www.cnblogs.com/yilezhu/p/9941208.html 作者:大石头时间:2018-11-10 晚上20:00 地点:钉钉群(组织代码B ...
Redis 10亿数据量只需要100MB内存，为什么这么牛？
作者:java架构设计来源:toutiao.com/i6767642839267410445 本文主要和大家分享一下redis的高级特性:bit位操作. 力求让大家彻底学会使用redis的bit ...
2亿数据量PostgreSQL 10.4查询调优思路分享
目录 ●背景 ●使用物理服务器 ●增加内存大小 ●使用NVMe协议的固态硬盘 ●将数据库安装在内存 ●业务调整 ●修改默认配置项 ●启用Gin (Generalized Inverted Index) ...
趣头条基于ClickHouse玩转每天1000亿数据量
本文根据dbaplus社群第199期线上分享整理而成,文末还有直播回放~ 王海胜趣头条数据中心大数据开发工程师 8年互联网工作经验,曾在eBay.唯品会.趣头条等公司从事大数据开发相关工作,有丰富的 ...
这么设计，Redis 10亿数据量只需要100MB内存
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 来源:www.toutiao.com/i676764283 ...
百亿数据量下，掌握这些Redis技巧你就能Hold全场
来源:https://0x9.me/aos9t 一.Redis封装架构讲解实际上NewLife.Redis是一个完整的Redis协议功能的实现,但是Redis的核心功能并没有在这里面,而是在NewL ...
掌握这些 Redis 技巧，百亿数据量不在话下！
一.Redis封装架构讲解实际上NewLife.Redis是一个完整的Redis协议功能的实现,但是Redis的核心功能并没有在这里面,而是在NewLife.Core里面. 这里可以打开看一下,Ne ...

日增30-40亿数据量的数据库

日增30-40亿数据量的数据库相关推荐

最新文章

热门文章