mongodb
关注
分享
扫一扫
文章平均质量分 86
林震南
笨小孩，攒钱，投资，争取早日财务自由，回老家教书育人
展开
-
mongodb副本集的常规操作
1、修改副本集节点的状态1.1 将primary节点降级为secondary节点powerlong:PRIMARY> rs.stepDown()这个命令会让primary降级为Secondary节点，并维持60s，如果这段时间内没有新的primary被选举出来，这个节点可以要求重新进行选举。也可手动指定时间带参数比如50秒powerlong:PRIMARY> rs.stepDown(50)命令执行完后，primary节点将会变成secondary节点。1....原创 2021-05-15 13:35:45 · 9936 阅读 · 3 评论 -
mongodb副本集移除已有的节点
前一篇文章学习了mongodb副本集添加新节点：mongodb副本集添加新节点，接下来学习下如何移除有问题的节点，先看官方文档：https://docs.mongodb.com/manual/tutorial/remove-replica-set-member/，里面记录了比较详细的步骤，大概如下：用rs.remove()方法移除：Shut down themongodinstance for the member you wish to remove. To shut down t...原创 2021-05-01 22:35:12 · 13332 阅读 · 1 评论 -
mongodb副本集添加新的节点
monodb副本集集群，能支撑多个secondary节点，一般刚开始可能部署少量一些节点，减轻成本费用，随着业务增加，会需要增加更多的节点，需要手动在上面添加新节点，那如何添加新节点呢？官方上有详细的文档说明，见：https://docs.mongodb.com/manual/tutorial/expand-replica-set/，这是域名在国外，有时候会打开比较慢，需要多点耐心去打开的。Maximum Voting MembersA replica set can have a...原创 2021-05-01 22:21:36 · 13476 阅读 · 0 评论 -
mongodb 在单机上搭建分片集群 详细实战过程
<->本地搭建 一般线上mongodb服务器都好多台，可以自由搭建mongodb分片集群的，但是不能随意测试，如果想自己随意测试新功能怎么办呢？可以在本地搭建，在一台服务器mongodb1（hch_test_dbm1_121_62）上大家mongodb分片集群，下面分片是示意图(https://docs.mongodb.com/manual/_images/s...原创 2019-08-03 14:59:48 · 10918 阅读 · 0 评论 -
mongodb 分片集群中加入新的config servers
<-> 切换config servers这里准备做的事情就是替换configdb：大家知道在mongodb分片集群里面，需要用mongos来与应用程序做交互，而且启动mongos的时候一般会起1或者3个configdb，二configdb就是启用的config server进程，这里的config sever进程也选用了3个configdb，它们是：--conf...原创 2019-08-03 14:59:00 · 11676 阅读 · 0 评论 -
MongoDB 分片集群故障RECOVERING 处理纪实
1、问题描述，备库故障RECOVERING运营同事说查询mongodb备库数据，没有最新的记录，估计是复制延时了，或者是故障了，赶紧上去查看状态rs.status()，看到备库处于RECOVERING状态 shard1:RECOVERING> rs.status(); { "set" : "shard1", "dat...原创 2019-07-29 10:48:44 · 12530 阅读 · 0 评论 -
mongodb 分片集群thread_resource_error故障
1、故障记录如下：Wed Sep 28 14:07:46.446 [Balancer] caught exception while doing balance: socket exception [CONNECT_ERROR] for 10.254.3.63:20000Wed Sep 28 14:07:47.716 [conn1165] DBClientCursor::i...原创 2019-07-25 12:36:05 · 10514 阅读 · 0 评论 -
mongodb 分片集群切换单个分片副本集primary的正确步骤
1、将原来的primay降为secondary shard1:PRIMARY> rs.stepDown(); 2016-07-11T20:35:30.134+0800 I NETWORK DBClientCursor::init call() failed 2016-07-11T20:35:30.141+0800 E QUERY Error: erro...原创 2019-07-22 13:58:24 · 11373 阅读 · 0 评论 -
mongodb 分片底层的主备切换是否会影响分片集群对外服务的详细剖析
1、先在shard1上准备数据库：ysdb1集合：c1数据：db.c1.save({x:1});……db.c1.save({x:4}); [mongodb@hch_test_dbm1_121_62 mongodb]$ /usr/local/mongodb-linux-x86_64-3.0.3/bin/mongo mongodb1:37027/admin M...原创 2019-07-22 13:57:56 · 10460 阅读 · 0 评论 -
mongodb 分片集群 在线添加副本集实例并升级成primay主库
1，准备新的mongodb实例 # 准备数据目录、日志目录 mkdir -p /data/mongodb/shard27027 mkdir -p /data/mongodb/logs # 启动mongod实例进程 /usr/local/mongodb-linux-x86_64-3.0.3/bin/mongod --shards...原创 2019-07-22 13:56:54 · 10652 阅读 · 0 评论 -
mongodb 在线添加新的分片复制集 后续
前面添加新的分片复制集因为版本不一致无法兼容，见：http://blog.csdn.net/mchdba/article/details/51867303，现在统一版本，继续在线上添加新的分片复制集。1、在master2上建立3个mongodb 准备3个mongodb进程数，先准备数据目录和日志目录： ...原创 2019-07-22 13:55:31 · 10308 阅读 · 0 评论 -
mongodb 运行时添加新的分片复制集
由于业务迅速扩展，当前的分片已经不能满足要求，需要在mongodb线上在增加一个分片。1、在master2上建立3个mongodb先设立好ip和域名的映射关系：vim /etc/hosts192.168.3.71 mongodb_shard3先准备好3个mongodb进程，这里先做个模拟例子，所以在一台服务器上使用3个端口来模拟3个mongodb实例（生产环境一般都...原创 2019-07-22 13:55:24 · 10810 阅读 · 0 评论 -
mongodb 通过mongodump来备份Sharded Cluste分片集群
1，mongodb所有组件官方文档地址：https://docs.mongodb.com/manual/reference/command/，所有的基础组件都在里面，包括备份恢复的mongodump、mongorestore，如01.png所示：2，备份组件mongodump 概要 mongodumpis a utility for creatin...原创 2019-07-21 03:14:55 · 11065 阅读 · 1 评论 -
mongodb error creating initial database config information 问题处理
开发同事说应用里面mongodb写入报错，自己进服务器查看，报错信息如下：[mongodb@azure_d1_dbm1_3_11 ~]$ /usr/local/mongodb-linux-x86_64-3.0.3/bin/mongo localhost:30000/adminMongoDB shell version: 3.0.3connecting to: localhost:300...原创 2019-07-21 03:14:40 · 10375 阅读 · 0 评论 -
mongodb 新版本高可用解决方案-replica sets副本集部署详细过程
Mongodb副本集：NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点，由此MongoDB设计了副本集和分片的功能，先来用用副本集。Mongodb副本集的同步机制：数据复制的目的是使数据得到最大的可用性，避免单点故障引起的整站不能访问的情况的发生，Mongodb的副本集在同一时刻只有一台服务器是可以写...原创 2019-07-20 11:57:37 · 10486 阅读 · 0 评论 -
mongodb3.0.3集群分片搭建
开始搭建mongodb分片数据：1、分别在master、slave1和slave2服务器上启动配置服务器mkdir /data/mongodb/config/usr/local/mongodb-linux-x86_64-3.0.3/bin/mongod --configsvr --dbpath /data/mongodb/config --port 20000 --logpath /dat...原创 2019-07-17 00:04:05 · 10201 阅读 · 0 评论 -
mongodb使用aggregate、group、match实现mysql中的having(count(1)>1)的功能
关系型数据库中分组去重一般都是group by … having(count(1)>1)…赛选出来重复的记录组，然后一条sql搞定，但是在mongodb里面，没有这么方便了，需要自己写脚本来实现，可以通过aggregate、group、match来操作处理。1，准备录入测试数据db.stu.insert({cid:1,age:14,name:'gom1'});db.stu.inser...原创 2019-07-14 06:54:01 · 12049 阅读 · 0 评论 -
mongodb 分组查询统计去掉重复的记录
mongodb版本号是，MongoDB shell version: 2.4.4操作环境，shell窗口 ，如下所示：[mongo_user@mongodb_dbs ~]# mongo --port 30100MongoDB shell version: 2.4.4connecting to: 127.0.0.1:30000/testmongos> mongos> use ...原创 2019-07-14 06:53:52 · 11601 阅读 · 0 评论 -
mongodb中批量将时间戳转变通用日期格式
1，官网提供的mongodb遍历脚本：官方文档地址：https://docs.mongodb.org/manual/tutorial/remove-documents/>var arr = ["ab","cd","ef"]>var show = function(value,index,ar){ print(value) }>arr.forEach(show)abcd...原创 2019-07-14 06:53:33 · 11149 阅读 · 0 评论 -
mongodb里的集合数据迁移到mysql库
1，在mongodb上导出数据，写个脚步expmongo.sh，shell脚本如下#!/bin/shdatestr=`date '+%Y-%m-%d'`/usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,mer...原创 2019-07-12 23:07:58 · 10862 阅读 · 0 评论 -
Mongodb secondary上面replSet error RS102 too stale to catch up
1 http://101.130.92.32:28018/_replSet 监控网站上报错:replSet error RS102 too stale to catch upTue Aug 13 05:18:06 [rsSync] replSet See http://www.mongodb.org/display/DOCS/Resyncing+a+Very+Stale+Replica+Se...原创 2019-06-11 00:30:13 · 10114 阅读 · 0 评论 -
利用Mongodb的复制集搭建高可用分片，Replica Sets + Sharding的搭建过程
参考资料 reference: http://mongodb.blog.51cto.com/1071559/740131 http://docs.mongodb.org/manual/tutorial/deploy-shard-cluster/#sharding-setup-shard-collection感谢网友Mr.Sharp，他给了我很多很有用的建议。概念梳理Sharded...原创 2019-06-10 00:10:32 · 10670 阅读 · 0 评论 -
Mongodb的master-slave模式与master-master模式实验
--Master Slave实验--创建数据目录$ mkdir /data/1$ mkdir /data/2$ mkdir /data/3--启动mongodb库$ /data/mongodb-linux-i686-1.6.0/bin/mongod --port 27020 --dbpath /data/1 --master &$ /data/mongodb-linux-i...原创 2019-06-09 00:15:33 · 10348 阅读 · 0 评论 -
mongodb cpu 超过100%居高不下的原因分析过程
-- mongodb cpu is high, infomation as below: 1 the message in the http://10.100.1.11:28017/ as below:conn 3188663 R 2004 apollo.eacmscache { key: "mpage:en_US:layout.www.origin.com/connect_def...原创 2019-06-09 00:11:07 · 11554 阅读 · 0 评论 -
笔记整理之 Mongodb中replicaset的搭建以及部署
mongodb replicaset的搭建1 download the install packagewget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.3.tgz (地址不一定对，自己去官网下在最新的版本)2 uncompress the packagetar -xvf mongodb-linux-x86_6...原创 2019-06-07 18:25:28 · 10321 阅读 · 0 评论 -
Mongodb默认日志的清理！
Reference： http://docs.mongodb.org/manual/tutorial/rotate-log-files/1， Start a mongod with verbose logging, with appending enabled, and with the following log file:such as ： mongod -v --logpath /v...原创 2019-06-06 23:46:42 · 11867 阅读 · 0 评论 -
Mongodb慢查询笔记 (Mongodb slow query log)
– ===========================– mongodb slow query log– ===========================Reference: http://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/Profiling Levels：1 resume0 - the...原创 2019-06-06 23:45:56 · 11284 阅读 · 0 评论 -
MongoDB："errmsg" : "DBClientBase::findN: transport error: 10.xxx.9.xx:37017 query
当在重新搭建secondary，在运行rs.status(); 报如下错误{“_id” : 2,“name” : “10.100.9.75:37017”,“health” : 0,“state” : 8,“stateStr” : “(not reachable/healthy)”,“uptime” : 0,“optime” : {“t” : 0,“i” : 0},“opti...原创 2019-06-05 23:54:38 · 18979 阅读 · 0 评论 -
Mongodb在replicaset的secondary上补建索引
1 问题简述mongodb replicaset故障，故设置成primary单机，这时在单机上面加了index tid_1，然后设置replicaset，但是这个时候secondary没有tid_1，此时怎么办？primary上面有索引tid_1, secondary没有。2 办法是有的，就是重新在主库上面再建一遍索引。db.tickets.getIndexes();use ssodat...原创 2019-06-05 23:54:18 · 10371 阅读 · 0 评论 -
Mongodb在renameCollection之后,记得千万要立即补建索引.
mongodb执行完renameCollection之后,记得千万要立即建索引.因为mongodb的新insert语句只负责create collections,不负责create index, 如果在production上面, 记得提前写好collection的indexes, rename之后重新补上.否则应用access会变得very slow very slow !...原创 2019-06-05 23:53:56 · 10980 阅读 · 0 评论 -
MongoDB用户管理笔记
–【】用户管理1 添加只读用户db.addUser(“skyman.man”,“manchungood”,true)2 修改只读用户为普通用户db.addUser(“skyman.man”,“manchungood”,false);db.addUser(“admin”,“manchungood”,false);3 删除用户db.removeUser(“admin”);4 切换数据库...原创 2019-06-05 23:53:36 · 10248 阅读 · 0 评论 -
uncaught exception: listDatabases failed:{ "errmsg" : "need to login", "ok" : 0 }
[root@346439-eastore_db3 ~]# /db/mongodb-linux-x86_64-2.0.2/bin/mongo 127.0.0.1:37017MongoDB shell version: 2.0.2connecting to: 127.0.0.1:37017/testshow dbs;Tue May 7 06:41:53 uncaught exception...原创 2019-06-05 23:53:15 · 10979 阅读 · 0 评论 -
Mongodb中回收remove的磁盘空间
purge disk space1 首先使用rs.remove(“ip:port”)移除一个从库，使其下线。http://docs.mongodb.org/manual/tutorial/remove-replica-set-member/rs.remove(“127.0.0.1:37020”);2 关闭下线的mongod进程，kill -2 pidkill the pid3 ...原创 2019-06-05 23:52:41 · 10341 阅读 · 0 评论 -
error RS102 too stale to catch up
error RS102 too stale to catch upgoogle之后,看到很多文章都指向了oplogSize大小.官方文档 Resyncing a Very Stale Replica Set Member 也告诉了问题所在，OPLOG。OPLOG 是用于 Replica Set的 PRIMARY 和 SECONDARY 之间同步数据的系统 COLLECTION。OPLOG 的数...原创 2019-06-05 23:46:27 · 10535 阅读 · 0 评论 -
Mongodb中replicaset的搭建以及部署
mongodb replicaset的搭建1 download the install packagewget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.3.tgz (地址不一定对，自己去官网下在最新的版本)2 uncompress the packagetar -xvf mongodb-linux-x86_6...原创 2019-06-05 23:40:32 · 13087 阅读 · 0 评论 -
mongovue 以及mongo shell中对日期查询命令的记录
-- in mongovue window{"date":{$lt:ISODate("2013-01-17T01:16:33.303Z")}}点击find 窗口,然后选择5条记录,就会快速的查询出来-- in mongo shell windowdb.tickets.find({"date":{$lt:ISODate("2013-01-17T01:16:33.303Z")}}...原创 2019-06-04 09:11:55 · 10212 阅读 · 0 评论 -
mongo shell中特殊判断符号转义的问题
[root@mongo ~]# bash -x t.sh+ /usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval 'printjson(db.tickets.findOne({date:{:ISODate(2013-01-10T01:16:33.303Z)}},{_id:1}))'F...原创 2019-06-04 09:11:23 · 11599 阅读 · 0 评论 -
笔记整理之 mongodb清理collection中大量数据的2种办法
1 shell中for循环清理每次去连接一下mongo, 进行数据的remove操作echo "Begin ..." >> /root/time.log;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;for((i=1;i<=100000000;i++));doobjectid=`/usr...原创 2019-06-04 09:10:23 · 11803 阅读 · 0 评论 -
笔记整理之 mongodb "$err" : "not master and slaveok=false"
monbodb安装完之后, 启动准备添加用户报错.> use adminswitched to db admin> db.addUser("admin","admin",false);Wed Apr 24 14:17:26 uncaught exception: error { "$err" : "not master and slaveok=false", "code" ...原创 2019-06-04 09:08:28 · 10371 阅读 · 0 评论 -
MongoDB安装以及数据初始化海量数据
1 下载安装包wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.2.3.tgz2 解压缩tar -zxvf mongodb-linux-x86_64-2.2.3.tgzmv mongodb-linux-x86_64-2.2.3 /usr/local/mongodb3 启动mongodb 服务/usr/local/mo...原创 2019-06-03 23:55:00 · 10434 阅读 · 0 评论