Technorati的后台数据库架构

Technorati的 Dorion Carroll在 2006 MySQL 用户会议上介绍了一些关于 Technorati 后台数据库架构的情况.[@more@]

基本情况

　　目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离,　似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看，这绝对是一个相对比较大的 Web 2.0 应用.

　　Tag 是 Technorati 最为重要的数据元素. 爆炸性的 Tag 增长给 Technorati 带来了不小的挑战.

　　2005 年 1 月的时候, 只有两台数据库服务器, 一主一从. 到了 06 年一月份, 已经是一主一从, 6 台 MyISAM 从数据库用来对付查询, 3 台 MyISAM 用作异步计算.

　　一些核心的处理方法:

　　1) 根据实体(tags/posttags))进行分区

　　衡量数据访问方法，读和写的平衡.然后通过不同的维度进行分区．( Technorati 数据更新不会很多, 否则会成为数据库灾难)

　　2) 合理利用 InnoDB与 MyISAM

　　InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合进行 OLAP 运算. 物尽其用.

　　3) MySQL复制

　　复制数据到从主数据库到辅数据库上,平衡分布查询与异步计算, 另外一个功能是提供冗余．如图:

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/66009/viewspace-1035280/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/66009/viewspace-1035280/

Technorati的后台数据库架构相关推荐

如何构建千万用户级别后台数据库架构设计的思路
关于如何构建千万级别用户的后台数据库架构话题,在ITPUB及CSDN论坛都有不少网友提问,新型问答网站知乎上也有人提问,并且顺带梳理了下思路,方便更多的技术朋友有章可循,整理一篇抛砖引玉性的文章. 一 ...
数据库架构优化的12种组合方式与风险解读
韩锋阿里云高级产品专家 dbaplus社群联合发起人,CCIA(中国计算机协会)常务理事: Oracle ACE,具有丰富的一线数据库架构.设计.开发经验,著有<SQL优化最佳实践>&l ...
彻底取代Redis+数据库架构，京东618稳了！
作者介绍京东零售在线存储部,致力于分布式系统.开源数据库技术的研究,主要负责数据库性能调优.监控和架构设计. 过去十年,随着移动互联网指数级的增长,企业和用户对应用程序的响应性能要求越来越高, 如何 ...
光大银行分布式实战：国内最大缴费平台的数据库架构转型
本文根据于树文老师在[deeplus直播第231期]线上分享演讲内容整理而成. 于树文光大银行资深DBA 目前在中国光大银行信息科技部数据库管理团队主要负责分布式数据库建设项目,推进行内技术架构转型 ...
看到外卖平台这样改善数据库架构，DBA表示放心了
本文根据虢国飞老师在dbaplus社群[2019年1月5日数据架构与优化沙龙上海站]现场演讲内容整理而成, 讲师介绍虢国飞饿了么数据技术部负责人从事数据库行业十余年,专注于 MySQL.PGSQ ...
无限容量数据库架构设计
花了不少时间,把自己曾经做过的系统,曾经遇到到的问题,曾经实践过的架构方案,梳理总结和沉淀,尽量"系统的"记录成文字,和大家一起讨论. 本文是不同业务场景下,体系化的介绍" ...
看完这篇，你还不能理解 ‘数据库架构’？趁早回家吧
点击上方"朱小厮的博客",选择"设为星标" 回复"资料"获取新整理的1TB资料来源:http://rrd.me/ep46N 一.数据库架构 ...
activiti 多租户_Activiti中具有独立数据库架构的多租户
activiti 多租户我们过去听到的一项功能请求是以多租户方式运行Activiti引擎,使租户的数据与其他数据隔离. 当然,在某些云/ SaaS环境中,这是必须的. 几个月前,波恩大学的学生拉斐尔 ...
谊品生鲜：放弃传统数据库架构，全站上阿里云
疫情之下,生鲜电商的订单突然暴涨. 社区生鲜龙头企业谊品生鲜就是一个典型代表.它的在线交易量激增,日订单量超过10万单. 对电商企业而言,这对业务是个巨大的好消息:但对于IT.对于谊品生鲜的核心业务系 ...
云化要求下，数据库架构如何演进？
戳蓝字"CSDN云计算"关注我们哦! 作者简介:王涛 SequoiaDB联合创始人&CTO 如今,大型企业如金融企业和银行等,在下一代的微服务架构转型要求下,需要基础软件和 ...

Technorati的后台数据库架构

Technorati的后台数据库架构相关推荐

最新文章

热门文章