使用merge into进行大数据量优化

传统方式：

insert into tableA select xx from tableB

或者使用

<foreach collection="pd.mapListImpt" item="item" index="index" open="begin" close=";end;" separator=";" >
update tableA<set>a= #{pd.mapListImpt[${index}].a,jdbcType=VARCHAR},b= #{pd.mapListImpt[${index}].b,jdbcType=VARCHAR},c=#{pd.mapListImpt[${index}].c,jdbcType=VARCHAR},d= #{pd.mapListImpt[${index}].d,jdbcType=VARCHAR},e=  #{pd.mapListImpt[${index}].e,jdbcType=VARCHAR},f=  #{pd.mapListImpt[${index}].f,jdbcType=VARCHAR},g=  #{pd.mapListImpt[${index}].g,jdbcType=VARCHAR},h=#{pd.h,jdbcType=VARCHAR},UpdateOperater=#{pd.userCode,jdbcType=VARCHAR},UpdateDate=to_date(to_char(sysdate,'yyyy-MM-dd'),'yyyy-MM-dd'),UpdateTime=to_char(sysdate, 'HH24:mi:ss')</set>where ad=#{pd.mapListImpt[${index}].ad,jdbcType=VARCHAR}
</foreach>

优化方式

使用merge into
以下写的例子，以供以后参考

<insert id="insertCEBPN_Con_ContriLs" statementType="PREPARED" parameterType="pd">merge into PN_Con_ContriLs pncusing(selectpcc.contrilsid contrilsid,pcc.contributionid contributionid,pcc.PlanID PlanID,pcc.EnterprisedeID EnterprisedeID,pcc.SubEnterprisedeID SubEnterprisedeID,pcc.productid productid,pcc.StaffID StaffID,pcc.name name,pcc.IdNo IdNo,nvl(pcc.EContTaxApply,'0') + pcc(pnc.ECMoney,'0') ECTotal,nvl(pcc.SContTaxApply,'0') + pcc(pnc.SCMoney,'0') SCTotal,pcc.CSumMoney CSumMoney,pcc.EContTaxApply EContTaxApply,pcc.SContTaxApply SContTaxApply,pcc.ECMoney ECMoney,pcc.SCMoney SCMoney,pcc.expandfield2 expandfield2from pn_con_contrils_temp pccwhere pcc.contributionid = #{pd.ContributionID,jdbcType=VARCHAR}and pcc.expandfield4 = #{pd.ContriLsIDLSPay,jdbcType=VARCHAR})t on(pnc.contributionid=t.contributionid)when not matched theninsert (pnc.ContriLsID,pnc.ContributionID,pnc.planid,pnc.EnterprisedeID,pnc.SubEnterprisedeID,pnc.ProductID,pnc.StaffID,pnc.name,  pnc.IdNo,pnc.EContTotalLs,pnc.SContTotalLs, pnc.ContTotalLs,pnc.EContTaxTotalLs,pnc.SContTaxTotalLs,pnc.EContApply,pnc.SContApply,pnc.OperateOrg, pnc.Operater,pnc.MakeDate, pnc.MakeTime,pnc.UpdateOperater,pnc.UpdateDate,pnc.UpdateTime,pnc.ContriListFileID,pnc.ContriAccountType)values(t.contrilsid,t.contributionid,t.PlanID,t.EnterprisedeID,t.SubEnterprisedeID,t.productid,t.StaffID,t.name,t.IdNo,t.ECTotal,t.SCTotal,t.CSumMoney,t.EContTaxApply,t.SContTaxApply,t.ECMoney,t.SCMoney,#{pd.comCode, jdbcType = VARCHAR},#{pd.userCode, jdbcType = VARCHAR},to_date(to_char(sysdate, 'yyyy-MM-dd'), 'yyyy-MM-dd'),to_char(sysdate, 'HH24:mi:ss'),#{pd.userCode, jdbcType = VARCHAR},to_date(to_char(sysdate, 'yyyy-MM-dd'), 'yyyy-MM-dd'),to_char(sysdate, 'HH24:mi:ss'),#{pd.FileID, jdbcType = VARCHAR},t.expandfield2)</insert>

<insert id="updateCEBPN_Con_ContriLs" statementType="PREPARED" parameterType="pd">merge into PN_Con_ContriLs pnc
using(selectpcc.contrilsid ContriLsID,pcc.contributionid ContributionID,pcc.name Name,pcc.idno IDNo,pcc.EContTaxApply,pcc.ECMoney,(nvl(pcc.EContTaxApply,'0')+nvl(pcc.ECMoney,'0')) EContTotalLs,pcc.SContTaxApply,pcc.SCMoney,(nvl(pcc.SContTaxApply,'0')+nvl(pcc.SCMoney,'0')) SContTotalLs,pcc.CSumMoneyfrom pn_con_contrils_temp pccwhere pcc.contributionid = #{pd.ContributionID,jdbcType=VARCHAR}and pcc.expandfield4 = #{pd.ContriLsIDLSPay,jdbcType=VARCHAR})t  on(t.contributionid = pnc.contributionid and pnc.Name = t.Name and pnc.IDNo = t.IDNo)
WHEN MATCHED THENUPDATE  SETpnc.EContTotalLs = t.EContTotalLs,pnc.SContTotalLs = t.SContTotalLs,pnc.EContTaxTotalLs = t.EContTaxApply,pnc.SContTaxTotalLs = t.SContTaxApply,pnc.ContTotalLs =  t.CSumMoney,pnc.EContApply=  t.ECMoney,pnc.SContApply=  t.SCMoney,pnc.ContriListFileID=#{pd.FileID,jdbcType=VARCHAR},pnc.UpdateOperater=#{pd.userCode,jdbcType=VARCHAR},pnc.UpdateDate=to_date(to_char(sysdate,'yyyy-MM-dd'),'yyyy-MM-dd'),pnc.UpdateTime=to_char(sysdate, 'HH24:mi:ss')</insert>

下面是参考的其他博主的记录，以供日后学习
转载自：https://blog.csdn.net/jeryjeryjery/article/details/70047022

merge into的形式：

MERGE INTO [target-table] A USING [source-table sql] B ON([conditional expression] and [...]...)
WHEN MATCHED THEN[UPDATE sql]
WHEN NOT MATCHED THEN[INSERT sql]

作用:判断Ｂ表和Ａ表是否满足ON中条件，如果满足则用B表去更新A表，如果不满足，则将B表数据插入A表但是有很多可选项，如下:

1.正常模式

2.只update或者只insert

3.带条件的update或带条件的insert

4.全插入insert实现

5.带delete的update(觉得可以用3来实现)
下面一一测试。

测试建以下表:

create table A_MERGE
(
id NUMBER not null,
name VARCHAR2(12) not null,
year NUMBER
);
create table B_MERGE
(
id NUMBER not null,
aid NUMBER not null,
name VARCHAR2(12) not null,
year NUMBER,
city VARCHAR2(12)
);
create table C_MERGE
(
id NUMBER not null,
name VARCHAR2(12) not null,
city VARCHAR2(12) not null
);
commit;

其表结构截图如下图所示：

A_MERGE表结构：

B_MERGE表结构

C_MERGE表结构

1.正常模式

先向A_MERGE和B_MERGE插入测试数据：

insert into A_MERGE values(1,'liuwei',20);
insert into A_MERGE values(2,'zhangbin',21);
insert into A_MERGE values(3,'fuguo',20);
commit;
insert into B_MERGE values(1,2,'zhangbin',30,'吉林');
insert into B_MERGE values(2,4,'yihe',33,'黑龙江');
insert into B_MERGE values(3,3,'fuguo',,'山东');
commit;

此时A_MERGE和B_MERGE表中数据截图如下:

A_MERGE表数据:

B_MERGE表数据:

然后再使用merge into用B_MERGE来更新A_MERGE中的数据:

MERGE INTO A_MERGE A USING (select B.AID,B.NAME,B.YEAR from B_MERGE B) C ON (A.id=C.AID)
WHEN MATCHED THEN
UPDATE SET A.YEAR=C.YEAR
WHEN NOT MATCHED THEN
INSERT(A.ID,A.NAME,A.YEAR) VALUES(C.AID,C.NAME,C.YEAR);
commit;

此时A_MERGE中的表数据截图如下:

2.只update模式
首先向B_MERGE中插入两个数据，来为了体现出只update没有insert，必须有一个数据是A中已经存在的

另一个数据时A中不存在的，插入数据语句如下:

insert into B_MERGE values(4,1,'liuwei',80,'江西');
insert into B_MERGE values(5,5,'tiantian',23,'河南');
commit;

此时A_MERGE和B_MERGE表数据截图如下:
A_MERGE表数据截图:

B_MERGE表数据截图:

然后再次用B_MERGE来更新A_MERGE，但是仅仅update，没有写insert部分。

merge into A_MERGE A USING (select B.AID,B.NAME,B.YEAR from B_MERGE B) C ON(A.ID=C.AID)
WHEN MATCHED THEN
UPDATE SET A.YEAR=C.YEAR;
commit;

merge完之后A_MERGE表数据截图如下:可以发现仅仅更新了AID=1的年龄，没有插入AID=4的数据

3.只insert模式
首先改变B_MERGE中的一个数据，因为上次测试update时新增的数据没有插入到A_MERGE，这次可以用。

update B_MERGE set year=70 where AID=2;
commit;

此时A_MERGE和B_MERGE的表数据截图如下:
A_MERGE表数据:

B_MERGE表数据:

然后用B_MERGE来更新A_MERGE中的数据，此时只写了insert，没有写update:

merge into A_MERGE A USING (select B.AID,B.NAME,B.YEAR from B_MERGE B) C ON(A.ID=C.AID)
WHEN NOT MATCHED THEN
insert(A.ID,A.NAME,A.YEAR) VALUES(C.AID,C.NAME,C.YEAR);
commit;

此时A_MERGE的表数据截图如下:

4.带where条件的insert和update。
我们在on中进行完条件匹配之后，还可以在后面的insert和update中对on筛选出来的记录再做一次条件判断，用来控制哪些要更新，哪些要插入。
测试数据的sql代码如下，我们在B_MERGE修改了两个人名，并且增加了两个人员信息，但是他们来自的省份不同，
所以我们可以通过添加省份条件来控制哪些能修改，哪些能插入:

update B_MERGE set name='yihe++' where id=2;
update B_MERGE set name='liuwei++' where id=4;
insert into B_MERGE values(6,6,'ningqin',23,'江西');
insert into B_MERGE values(7,7,'bing',24,'吉安');
commit;

A_MGERGE表数据截图如下：

B_MERGE表数据：

然后再用B_MERGE去更新A_MERGE，但是分别在insert和update后面添加了条件限制，控制数据的更新和插入:

merge into A_MERGE A USING (select B.AID,B.name,B.year,B.city from B_MERGE B) C
ON(A.id=C.AID)
when matched then
update SET A.name=C.name where C.city != '江西'
when not matched then
insert(A.ID,A.name,A.year) values(c.AID,C.name,C.year) where C.city='江西';
commit;

此时A_MERGE截图如下:

5.无条件的insert。
有时我们需要将一张表中所有的数据插入到另外一张表，此时就可以添加常量过滤谓词来实现，让其只满足
匹配和不匹配，这样就只有update或者只有insert。这里我们要无条件全插入，则只需将on中条件设置为永假
即可。用B_MERGE来更新C_MERGE代码如下:

merge into C_MERGE C USING (select B.AID,B.NAME,B.City from B_MERGE B) C ON (1=0)
when not matched then
insert(C.ID,C.NAME,C.City) values(B.AID,B.NAME,B.City);
commit;

C_MERGE表在merge之前的数据截图如下:

B_MERGE数据截图如下：

C_MERGE表在merge之后数据截图如下:

6.带delete的update
MERGE提供了在执行数据操作时清除行的选项. 你能够在WHEN MATCHED THEN UPDATE子句中包含DELETE子句.
DELETE子句必须有一个WHERE条件来删除匹配某些条件的行.匹配DELETE WHERE条件但不匹配ON条件的行不会被从表中删除.
但我觉得这个带where条件的update差不多，都是控制update，完全可以用带where条件的update来实现。

author:su1573