数据交换平台的双内存设计

一、数据交换平台

数据交换平台的项目目的，就是为了解决异构数据库之间的数据交换问题。

这个平台的设计，参考了淘宝开源的DataX、大众点评的Wormhole，等，受到的启发很大。

项目由小到大，逐步形成平台化发展，几乎汇总了公司后台db之间的所有数据同步，任务个数有近500个，每天数据量达3亿。

目前，平台运行稳定，推广部署到其他分公司。趁这个机会，整理了一些文档，拿出来分享，也算是回馈感恩吧。

上一篇文档，说了一些需求和初步设计。

这一篇重点说下，两块共享内存的设计细节，直接上图。

二、任务实时数据：Shmrt

三、任务详细参数：Shmtd

数据交换平台的双内存设计相关推荐

数据交换平台的架构设计
序言说到架构设计,不敢妄自牛逼.只能默默地向Linux致敬,没有强大的linux系统,我们做的架构设计,做的程序一天说不定挂几次.(windows系统就不说了,呵呵) 数据交换平台的架构发展架构不 ...
（神州优车）数据交换平台架构分享
一.数据交换平台定义(百度百科) 数据交换平台是指将分散建设的若干应用信息系统进行整合,通过计算机网络构建的信息交换平台,它使若干个应用子系统进行信息/数据的传输及共享,提高信息资源的利用率,成为进行 ...
数据交换平台_从零开始理解大数据架构之数据交换平台
项目简介 Exchangis是一个轻量级的.高扩展性的数据交换平台,支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控.节点服务高可用和多租户资源隔离等业务特性,而在数据层上 ...
物理隔离下的数据交换平台难点解析与实践（一）
目录第零章.前言:为什么?做什么?怎么做? 第一章.数据交换平台的一些基本概念目录第零章.前言:为什么?做什么?怎么做? 最近带队做了公司的一个项目,叫数据交换平台,旨在物理隔离的情况下对多端业 ...
协同数据交换平台详细设计方案（word）
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除 1 架构设计 1.1 总体架构协同数据交换平台利用企业服务总线.数据抽取ETL.消息中间件.大文件传输等相关技术,包括文件适配器.数据 ...
（13）达梦DMETL数据交换平台技术原理及应用介绍
在上一篇博客里,我们对达梦DMHS进行了动手部署实践.本篇文章主要是对达梦DMETL数据交换平台系统框架及核心功能组件等技术方面的学习分享. 一.数据实时同步软件(DMETL)简介达梦数据交换平台( ...
交换平台（一）第一章：数据交换平台的一些基本概念
目录文章目录第零章.前言:为什么?做什么?怎么做? 第一章.数据交换平台的一些基本概念 1.1 数据交换与交换平台 1.2 什么是物理隔离? 第零章.前言:为什么?做什么?怎么做? 最近带队做了公 ...
数据交换平台有哪些功能特点
数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站.数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供 ...
对于国内数据交换平台的分析
数据交换平台应当立足于平台自身所提供的基础设施,在国内大部分的交换平台系统错误地把关注的重点放在数据交换平台所支持传输协议之上(如mq,ftp,webservice),系统所支持的传输协议越多,系统抽 ...

数据交换平台的双内存设计

一、数据交换平台

二、任务实时数据：Shmrt

三、任务详细参数：Shmtd

数据交换平台的双内存设计相关推荐

最新文章

热门文章