sql中去除重复的数据

总的思路就是先找出表中重复数据中的一条数据，插入临时表中，删除所有的重复数据，然后再将临时表中的数据插入表中。所以重点是如何找出重复数据中的一条数据，有三种情况

1.重复数据完全一样，使用distinct

select distinct * from table

2.id列不同,id类型为int,自增字段,使用聚合函数max或其他

select * from table where id in(

select MAX(id)

FROM table group by “分组字段”having COUNT(*)>1)

3.id列不同,id类型为uniqueidentifier

(1)使用row_number() over()和partition by给每一组添加行号

Select *,(row_number() Over(partition By ‘分组字段’Order BY ‘排序字段’)) RowNum From
(select * from table where ‘分组字段’in(

select ‘分组字段’ FROM table group by “分组字段”having COUNT(*)>1) t1)

(2)将行号=1的数据插入临时表中

Select * into #A from (‘上面的sql语句’) t2 where t2.RowNum=1

注意：row_number() over()是给行加行号的

partition by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组，参考http://blog.csdn.net/wuzhengqing1/article/details/8024634

sql中去除重复的数据相关推荐

SQL中去除重复数据的几种方法，我一次性都告诉你
使用SQL对数据进行提取和分析时,我们经常会遇到数据重复的场景,需要我们对数据进行去重后分析. 以某电商公司的销售报表为例,常见的去重方法我们用到distinct 或者group by 语句, 今天介 ...
excel函数去重_Excel 2010中去除重复项的几种常用技巧
在工作中使用Excel 2010时,经常会有需要在对原始记录清单进行整理时,剔除其中一些重复项.接下来本文就来讲解下Excel 2010中去除重复项的几种常用技巧. 所谓的重复项,通常是指在Excel ...
sql查询字段重复的数据并且修改数据某个字段
1.sql查询字段重复的数据并且修改所有行某个字段值 UPDATE 表名 a SET a.要修改的字段名 = 1 WHEREa.重复字段 IN (SELECTb.重复字段FROM(SELECTc.重 ...
去除html重复的元素 js,js数组中去除重复值的几种方法
在日常开发中,我们可能会遇到将一个数组中里面的重复值去除,那么,我就将我自己所学习到的几种方法分享出来去除数组重复值方法: 1,利用indexOf()方法去除思路:创建一个新数组,然后循环要去重的 ...
数组x中数据复制到数组y中，重复的数据只存储一次，最后输出y；计算x中数据的平均值ave及大于平均值的元素个数n。c++实现
题目描述编程序,实现如下功能: (1)定义两个一维数组x,y,不超过50个元素. (2)从键盘输入k个整数到数组x中. (3)计算x中数据的平均值ave及大于平均值的元素个数n并输出. (4)将数组 ...
R语言数据集某一列中不重复的数据以及其个数
R语言数据集某一列中不重复的数据以及其个数提取出某一列中不重复的数据 unique(data$Symbol) 不重复的数据个数(Symbol的个数) length(unique(totaldata ...
如何在SQL中处理层次型数据
最近在做公司的认证系统,看了开源项目如apache shiro跟spring security,还不知道是自己构建还是用上述代码.最近的考虑点是如何处理层次型数据,因为打算给user构造一个有层次的g ...
Excel中删除重复的数据
Excel中删除重复的数据经常碰到excel中重复的数据,如果数量不多,手工删除或许尚可,如果数据比较大,就需要借助计算机拉,一般有两种方法,一种是用Excel中的高级筛选工具,另一种就是我下面说的 ...
python去重复行_python 去除Excel中的重复行数据
原博文 2019-08-05 16:15 − 导入pandasimport pandas as pd1.读取excel中的数据:frame = pd.DataFrame(pd.read_csv('ex ...

sql中去除重复的数据

sql中去除重复的数据相关推荐

最新文章

热门文章