笔记整理之 mongodb清理collection中大量数据的2种办法

最新推荐文章于 2025-03-22 15:12:46 发布

林震南

最新推荐文章于 2025-03-22 15:12:46 发布

阅读量1.1w

点赞数 3

分类专栏： mongodb

本文链接：https://blog.csdn.net/csdnhsh/article/details/90762735

版权

mongodb 专栏收录该内容

40 篇文章

订阅专栏

本文对比了两种使用Shell脚本与MongoDB Shell清理大量过期数据的方法：一种是在Shell脚本中循环调用MongoDB命令进行数据删除；另一种是在MongoDB Shell中直接进行循环删除操作。前者更安全但效率较低，后者效率高但可能存在风险。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 shell中for循环清理

每次去连接一下mongo, 进行数据的remove操作

echo "Begin ..." >> /root/time.log;

echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;



for((i=1;i<=100000000;i++));

do

objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{\\$lt:ISODate(\"2013-01-10T01

:16:33.303Z\")}},{"_id":1}))"`;

/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)";

echo " done " $objectid " " >> /root/tickets.log

done

echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;

echo "End ..." >> /root/time.log;

echo " " >> /root/time.log

2 mongo shell中 for循环清理

只连接一次mongo, 在mongo shell中for循环清理

[root@mongo ~]# more t.sh



echo "Begin ..." >> /root/t.log;

echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;





/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js;





echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;

echo "End ..." >> /root/t.log;

echo " " >> /root/t.log

[root@mongo ~]#

[root@mongo ~]#

[root@mongo ~]# more t.js

for( var i=1 ; i<=100000000; i++ ) {

var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1});

db.tickets.remove(objectid);

}

实际测试, 第一种安全保险的多,但是毕竟慢,清理100G的数据大概要3天 ,第二种快捷的多(据说有风险,但是我测试没有碰到过),清理100G的数据,用了6个小时.