oracle全表增量抽取,每日数据增量抽取问题讨论

每日数据增量抽取问题讨论[@more@]咨询各位高人.

目前状况是我单位每天都要产生一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:

每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的

对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.

oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?

如果将来,要查询历史销售的时候,需要历史的单品资料做关联.

请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/19622/viewspace-890087/，如需转载，请注明出处，否则将追究法律责任。

oracle全表增量抽取,每日数据增量抽取问题讨论相关推荐

oracle全表扫过程讲解,CSS_浅谈存取Oracle当中扫描数据的方法，1) 全表扫描(Full Table Scans, FTS) - phpStudy...
浅谈存取Oracle当中扫描数据的方法 1) 全表扫描(Full Table Scans, FTS) 为实现全表扫描,Oracle读取表中所有的行,并检查每一行是否满足语句的WHERE限制条件一个多块 ...
外部表如何导入mysql_如何利用Oracle外部表导入文本文件的数据
Oracle外部表支持两种类型的驱动:一种是ORACLE_LOADER,外部表的数据必须来源于文件文件,另一种则是ORACLE_DATAPUMP,外部表的同事最近在忙数据一致性比对工作,需要对不同文 ...
oracle 删除表空间(tablespace)及数据文件的方法
– 创建表空间; Create tablespace xihu datafile 'd:\oracleDB\xihu.dbf' Size 100M AutoExtend on Next 10M sel ...
Oracle删除表中的重复数据
Oracle数据库删除表中的重复数据,只保留其中的一条,以两个字段为例,提供两种方法 ①.直接delete重复的数据 delete from table_name t1 where (t1.col1, ...
python比较数据库表今天跟前一天数据增量,Python 生产环境Mysql数据库增量备份脚本...
Mysql数据库常用的办法是通过mysqldump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍blog介绍xtrabackup的热备工具.下面的脚本是基于 ...
oracle 两表去除重复的数据,Oracle数据库删除两表中相同数据的方法
在Oracle数据库中删除两表中相同数据的方法是用到in语句,本文通过实例来讲解删除两表中相同数据的方法. 软件环境: 1.Windows NT4.0+ORACLE 8.0.4. 2.Oracle安装 ...
oracle 全表扫描分区,oracle分区表全分区扫描问题
分区表:将一个大表根据某种规则分成多个小表,从而提高检索效率. 查询分区表sql select user_tables.table_name from user_tables where user_t ...
oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论
咨询各位高人. 目前状况是我单位每天都要产生一个单品资料的基础表, 是所有单品,大约5万条数据 ,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉了.这个表每天都是通过unix上系统 ...
数据增量更新定义_TiDB 在 OPPO 准实时数据仓库中的实践
作者介绍 OPPO 数据分析与解决方案团队主要负责 OPPO 全集团的大数据分析和解决方案提供,团队成员多来自一线互联网公司及著名高校,在 OPPO 众多场景的大数据应用方面有很深经验,极大的支撑了业 ...

oracle全表增量抽取,每日数据增量抽取问题讨论

oracle全表增量抽取,每日数据增量抽取问题讨论相关推荐

最新文章

热门文章