mongodb去除重复的值

今天使用mongodb发现某一字段有很多重复的值，需要根据该字段将重复的值删除，保留一份，查了很多资料，写出了一套去重代码记录下来。

首先应该将数据库表备份，这是所有数据处理步骤的最重要一步，谁也不知道会发生什么，数据无价！

删除语句解析：

db.userInfo.aggregate([

{

$group: { _id: {userName: '$userName',age: '$age'},count: {$sum: 1},dups: {$addToSet: '$_id'}}

{

$match: {count: {$gt: 1}}

}

]).forEach(function(doc){

doc.dups.shift();

db.userInfo.remove({_id: {$in: doc.dups}});

})

1.根据userName和age分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段

2.使用$match匹配数量大于1的数据

3.doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据

4.使用forEach循环根据_id删除数据

$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中，$addToSet返回，不会修改数组。

后续还得研究一下分页相关功能

引自：

https://www.cnblogs.com/nicolegxt/p/24b3653947991ebe73e5d70609ab2943.html

mongodb去除重复的值相关推荐

php二维数组拆分成字符串,PHP二维数组切割为字符串并去除重复的值
本篇文章的内容是关于PHP二维数组切割为字符串并去除重复的值的代码,现在分享给大家,有需要的朋友可以参考一下应用场景在于需要查询出某一个rent_contract_id所有有关的id及rent_c ...
php 去除重复的值,php数组怎么去除重复值？
PHP中可以使用array_unique()函数来去除数组的重复值:如果两个或更多个数组值相同,array_unique()函数只会保留第一个元素,其他的元素值会被删除:语法格式"array ...
mongodb去除重复的数据（二）
前天因为工作需要,开始着手对数据库中两千多万的数据中其中一个字段重复的数据进行去重. 原本使用一些测试的数据测试后,前天写的那个方法是可行的,但是当面对这个两千万的真实数据时,我却发现这方法有些不顶用 ...
Mongodb去除重复的数据，pymongo去重
接上一篇的,发现爬斗鱼主播信息存入Mongodb数据库后,发现很多重复的数据,毕竟斗鱼不可能有这么多的主播,所以很多页是有重复的主播房间的. 查了一下怎么去重,发现比较麻烦,与其存入重复的数据后面再去 ...
linux命令去除重复的值,学习linux的Split 命令-linux下去除重复的命令uniq用法...-linux下join与paste命令的用法_169IT.COM...
先来看命令paste. paste将几个文件的相应行用制表符连接起来,并输出到标准输出. paste [选项] file1 file2 -d 指定不同于空格或tab键的域分隔符.例如用#分隔域,使用- ...
python去除数组缺失值_动态数组的应用，VBA中如何利用动态数组去除重复值的第二讲...
大家好,我们今日继续讲解VBA代码解决方案的第62讲内容:在VBA中如何使用动态数组,以及利用动态数组去除重复值的方法第二部分.在上一讲中,我们讲了知识点的利用,其一是Filter函数,其二是ReDi ...
去除div最后一个逗号_去除重复值、统计数量，这个公式可以直接套用！
点击上方蓝字关注星标★不迷路本文作者:拉登 Dony来源:拉小登(ID:ladengchupin)本文编辑:小叮.竺兰前段时间遇到这样一个问题,让我很头疼. 头疼的原因有 3 点:❶ 问题描述不清晰 ...
list去除重复值的方法(面试高频)
不知道怎么最近找工作会遇到些人问list出现重复值去重的办法,目前自己就只想到了两个办法,欢迎高手指点! 1.首先第一个办法最简单的就是用 set ,set本身就是不能出现重复值的,所以他会自动去重. ...
去除html重复的元素 js,js数组中去除重复值的几种方法
在日常开发中,我们可能会遇到将一个数组中里面的重复值去除,那么,我就将我自己所学习到的几种方法分享出来去除数组重复值方法: 1,利用indexOf()方法去除思路:创建一个新数组,然后循环要去重的 ...

mongodb去除重复的值

mongodb去除重复的值相关推荐

最新文章

热门文章