INFA DAC抽取数据

INFORMATICA 时间戳增量抽取+增量更新以及通过DAC控制

INFORMATICA中的模型图

1 时间戳增量抽取
设计数据库源表，update 是 DATE格式

目标表现在没有数据

设置变量

路径-》Mappings - >Parameters and Variables

$$v_pumpdt ，date/time的格式可以先不设置变量，进行DUBUG 查看一下数据库的数据进入informatica 的格式

这样你就知道了初始化时应该是什么样子了我的是： mm/dd/yyyy hh24:mi:ss

修改SQL组件的过滤方式

先输入与数据库的连接条件，然后点击Generate SQL 然后输入条件

WHERE
SALES_ORDER.UPDATED > '$$v_pumpdt'
AND
SALES_ORDER.UPDATED < '$$$SESSSTARTTIME'

添加一个Expression组件

SETVARIABLE($$v_pumpdt,SESSSTARTTIME)

到这一步就可以对增量抽取进行测试了，在workflows里可以查看工作流执行完后变量的变化

2 增量更新
添加一个 lookup transformation 并选择目标表

删除没用的字段，将SQL组件的连接条件拉过来

将目标表的ID拉到Expression组件，添加一个字段，该字段含义是更新或者插入的标识符

INSERT_UPDATE_FLAG

表达式为：

IIF(ISNULL(INTEGRATION_ID),'INSERT','UPDATE')

将INSERT_UPDATE_FLAG字段拉到 update Strategy Transformation

修改条件

新人的坑，发现插入到目标表有反应，但是更新没有反应，解决方式有两种，1 ：到目标表设计的地方为目标表设置主键

2：重写更新机制

3 DAC控制
Value 代表初始化的值，每次都会初始化变量，使用Value的值，

想要工作流正常跑即自动增量更新，就勾选Inactive 使其失效，以后想初始化变量的时候直接使能即可

INFA DAC抽取数据相关推荐

使用Kettle抽取数据时，出现中文乱码问题解决方案
使用Kettle抽取数据时,出现中文乱码问题解决方案参考文章: (1)使用Kettle抽取数据时,出现中文乱码问题解决方案 (2)https://www.cnblogs.com/yiyezhiqiu ...
使用 Binlog 和 Canal 从 MySQL 抽取数据
数据抽取是 ETL 流程的第一步.我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库,进行清洗.转换.聚合等操作.在现代网站技术栈中,MySQL 是最常见的数据库管理系统,我们会从多个不 ...
JDBC实现从Hive抽取数据导入Oracle
环境:浙江移动华为云平台云平台大数据采用了 Kerberos 认证. 开发历程: 1.在宁波大数据实验环境测试通过了JDBC实现从Hive抽取数据导入Oracle功能. 2.通过查看其它项目的数据库 ...
bcp+Sql语句抽取数据导出
最近由于项目的需求,需要将项目数据库中的数据按照一定的规则抽取出来,然后再导入到另外一个结构相同的数据库中:之前也使用过bcp的功能,但是只使用bcp将整个表的数据导入到一个csv文件中,查看了一下b ...
hive随机抽取100条数据_用Excel进行随机抽取数据
点击上面的蓝字"我的森林小屋",关注我,获取更多精彩内容!在Excel中,RANDBETWEEN是一个随机抽取数据函数,表示"返回大于等于指定的最小值,小于等于指定最大值 ...
从源数据库抽取数据到中间库
---------------------------------------------------------------------------------------------------- ...
sqoop使用hcatalog抽取数据异常
sqoop使用hcatalog抽取数据到hive,开启hdfs sentry权限同步后sqoop hcatalog脚本执行任务失败,错误日志如下: Job commit failed: org.apa ...
关于sqoop抽取数据时显示ERROR ：/QueryResult.java‘ already exists 解读
关于sqoop抽取数据时显示ERROR :/QueryResult.java' already exists 解读报错日志 ERROR orm.CompilationManager: Could n ...
python随机抽号_Python 随机从字典中抽取数据
写bug的代码小白随机从字典中抽取数据 import random listb = {1: '张三', 2: '李四', 3: '王五', 4: '赵六', 5: '王麻子', 6: '包子', 7 ...

INFA DAC抽取数据

INFA DAC抽取数据相关推荐

最新文章

热门文章