分布式数据库--ZMP数据迁移平台

在云计算、大数据和物联网时代，数字化转型悄然在各行各业中进行。然而数据作为最基础的要素，如何进行多源异构的海量数据交换？如何保证数据的时效性和准确性？如何让海量异构数据实现云上、云下的协同？是我们长此以往关注的焦点。而ZMP数据迁移平台正致力于云间数据交换场景，支持不同数据结构，可帮助政企客户快速搭建高性能、高安全、高可靠、高稳定的数据交换平台。

1. 功能

ZMP数据迁移平台不仅有基础的系统、用户和主题管理，也有可视化运维的服务器管理及消息监控等，更主要的是集成了消息服务、数据转换同步等中间件，同时加入了迁移评估和应用的智能改造。

服务器管理：提供服务器、消息服务、同步组件的安装、启停、配置和监控等功能。
主题管理：提供消息服务主题的创建、删除、编辑和监控，在数据交换中，不需要用户创建和删除主题，由数据交换任务统一管理。
数据迁移评估：提供源库数据库（Oracle9i，Oracle11g，Oracle12c，SQLserver）的数据采集，画像及目的端数据库为开务数据库（云溪数据库）或MySQL时的兼容性评估。
数据采集：针对多个Oracle版本和SQLServer，构建了数据采集工具。
源库画像：根据采集的数据，自动生成智能五边图（规模，会话，风险，负载，复杂度），数据库的概要信息与详细信息——包括数据库性能及运行时的性能，容量，Oracle特性，对象详情、全景搜索等。用户可以直观地把握以上信息，并在详情页查看具体的信息。同时，在不同对象的依赖关系里，还可以实现跳转，帮助理解数据库原有结构。
兼容评估：将源库所有对象与SQL语句进行解析，判断其与目标库（之间的兼容情况，并输出其统计结果。在评估详情中看到每一个对象的兼容情况及迁移风险等情况。
数据交换：提供作业、任务、数据源和同步表的创建、删除、编辑、监控和统计报表功能。
支持结构化数据交换：开务数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。
支持非结构化数据交换：Linux/Windows文件、FTP、SFTP、OSS、HDFS各种样式，各种大小的数据交换。
支持半结构化数据交换：JSON、CSV等半结构化数据与数据库交换。
支持多协议数据采集：MQTT、COAP、MODBUS、XPH、DICOM、HTTP、RTSP、RTMP等。
智能改造：加载源代码（工程）文件夹，对其中文件进行嗅探，寻找其中的SQL语句，并进行统计、分析、改造，并对改造情况进行统计分析，并提供手动查看与改造等相关功能。
用户管理：提供用户的创建、删除、编辑、权限分配和审计等功能。
系统配置：提供控制台日志、系统告警等功能。
版本管理：提供同步组件安装包更新、同步组件升级等功能。

2. 优势

ZMP数据迁移平台在支持多种数据源的基础上，提供可视化拖拽方式进行流程编排。既大大降低了对源端的影响，又提高了同步效率。同时支持超大文件和各种网络数据传输。

同步效率高：每秒10万级记录以上同步量。
源端影响小：支持Oracle、SQLserver、MySQL、MariaBD和达梦日志增量同步，不需要依赖触发器、CDC、时间戳。
多字段时间戳：支持多时间戳、增量字段、支持时间戳及增量字段向前偏移。
DDL变更捕获：支持数据库级别和表字段级别
数据管理监控：采用可视化拖拽方式进行流程编排，可视化管理监控数据流向、数据统计、数据报表及相关警告。
支持结构化数据交换：开务数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu等。
超大文件和网络数据传输：支持复杂环境下TB级别文件，支持中继路由、文件网闸、有限带宽等各种网络数据传输，支持断点续传。
国产化环境及中间件：支持mips、x86、arm等CPU架构和金蝶、中创等。

3. 架构

功能架构:

技术架构:

数据库交换架构:

文件交换架构:

4. 应用

各种类型数据、大数据平台和行业应用，通过ZMP数据迁移平台实现高效的数据交换。医疗通信等行业产生的结构化、非结构化、文件等数据，通过ZMP平台抽取、转换、加密传输和入库，最大化实现数据的价值。同时云上云下数据协同。

跨网络、跨防火墙、跨中继路由、跨网闸等方式部署平台可使用多种不同的应用场景。异构采集对数据源影响小，实现数据高效采集，可靠传输，支持海量消息存储；数据交换支持单节点每秒百万级消息处理，集群下支持每秒亿级消息吞吐量，消息容量可达PB级。

分布式数据库--ZMP数据迁移平台相关推荐

oracle怎么将一列挪到另一列,详细讲解Oracle数据库的数据迁移方法
<详细讲解Oracle数据库的数据迁移方法>由会员分享,可在线阅读,更多相关<详细讲解Oracle数据库的数据迁移方法(4页珍藏版)>请在人人文库网上搜索. 1.详细讲解 Or ...
ORACLE使用copy方式存储迁移,详细讲解Oracle数据库的数据迁移方法
添加所需的表空间和用户到目标数据库中:安装所需的SQL*Net2或者Net8软件,并配置用于连接数据库的别名. 在DOS命令提示符下设置oracle_sid=Oracle7_sid. 以Interna ...
Oracle数据库迁移测试数据,Oracle数据库的数据迁移方法
Oracle数据库的数据迁移方法发表于:2008-04-14来源:作者:点击数: 随着数据库管理系统和操作系统平台的更新换代的速度的加快,数据库管理员经常需要在两个不同的数据库之间或在两种不同的系统 ...
分布式数据库选型——数据水平拆分方案
概述水平拆分的概念随着分布式数据库的推广已为大部分人熟知.分库分表.异构索引.小表广播.这些功能几乎是产品功能需求标配.然而有些客户使用分布式数据库后的体验不尽如意. 本文尝试从数据的角度总结分布式 ...
mongoose换成mysql_如何将MongoDB数据库的数据迁移到MySQL数据库中
FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是 ...
分布式数据库的数据备份/恢复，这些你一定要了解
一.概述在数据作为生产资料的今天,数据早已成为各行各业的生命源泉,数据安全的重要性不言而喻.数据备份是数据安全的基础,完整的备份和有效的恢复手段是应对一切突发状况的重要保障.同时数据备份也对数据的重 ...
金仓数据库KingbaseES数据迁移
关键字:kingbase,数据迁移,DTS 数据迁移是在不同存储类型.格式和计算机系统之间的数据转换,数据迁移需要使用相应的工具来进行,kingbaseES中为此提供了DTS数据迁移工具. DTS是一 ...
数据库间数据迁移常见工具和方法
项目需要对oracle数据迁移到MySQL中,搜集了一些方法和工具,现在做一个汇总和总结,较好的有以下几种: 1.SQLyog(https://link.zhihu.com/?target=https ...
异构数据库10T数据迁移方案
一.DB2迁移到ORACLE,同表10亿数据量的迁移方案 1.选择一个中间存储服务器,同时安装db2客户端,oracle客户端,本次试验没有中间服务器,生成文件直接在db2数据库服务器上生成,导入文件 ...

分布式数据库--ZMP数据迁移平台

分布式数据库--ZMP数据迁移平台相关推荐

最新文章

热门文章