① mongodb偽集群（單機集群）搭建
①、解壓
[root@jianshu ~]# tar -zxvf mongodb-linux-x86_64-4.0.13.tgz -C /usr/local/
[root@jianshu ~]# mv mongodb-linux-x86_64-4.0.13 /usr/local/
[root@jianshu ~]# ln -s /usr/local/mongodb/bin/* /usr/bin/
②、創建偽集群存放目錄mdb1、mdb2、mdb3和其子目錄logs、data/db、key
[root@jianshu ~]# mkdir -pv /data/mongodbs/
[root@jianshu ~]# cd /data/mongodbs/
[root@jianshu ~]# mkdir -pv mkdir -pv mdb{1,2,3}/{logs,data/db,key}
③、生成key（集群之間的安全認證，3個需一致）
[root@jianshu ~]# openssl rand -base64 745 > /data/mongodbs/mdb1/key/keyfile
[root@jianshu ~]# chmod 600 /data/mongodbs/mdb1/key/keyfile
[root@jianshu ~]# cp /data/mongodbs/mdb1/key/keyfile /data/mongodbs/mdb2/key/
[root@jianshu ~]# cp /data/mongodbs/mdb1/key/keyfile /data/mongodbs/mdb3/key/
④、配置
集群1配置：
[root@jianshu ~]# cat /data/mongodbs/mdb1/mongodb.conf
systemLog:
destination: file
path: "/data/mongodbs/mdb1/logs/mongod.log"
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/mongodbs/mdb1/mongod.pid"
net:
bindIp: 0.0.0.0
port:27018
maxIncomingConnections: 10000
storage:
dbPath: "/data/mongodbs/mdb1/data/db"
journal:
enabled: true
engine: wiredTiger
directoryPerDB: true
replication:
oplogSizeMB: 50
replSetName: "mdbcluster"
#註：如果配置security的keyFile，則開啟了授權認證，則不能添加用戶，如果要添加用戶可以先暫時關閉
security:
keyFile: "/data/mongodbs/mdb1/key/keyfile"
clusterAuthMode: "keyFile"
集群2配置：
[root@jianshu ~]# cat /data/mongodbs/mdb2/mongodb.conf
systemLog:
destination: file
path: "/data/mongodbs/mdb2/logs/mongod.log"
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/mongodbs/mdb2/mongod.pid"
net:
bindIp: 0.0.0.0
port:27019
maxIncomingConnections: 10000
storage:
dbPath: "/data/mongodbs/mdb2/data/db"
journal:
enabled: true
engine: wiredTiger
directoryPerDB: true
replication:
oplogSizeMB: 50
replSetName: "mdbcluster"
#註：如果配置security的keyFile，則開啟了授權認證，則不能添加用戶，如果要添加用戶可以先暫時關閉
security:
keyFile: "/data/mongodbs/mdb3/key/keyfile"
clusterAuthMode: "keyFile"
集群3配置：
[root@jianshu ~]# cat /data/mongodbs/mdb3/mongodb.conf
systemLog:
destination: file
path: "/data/mongodbs/mdb3/logs/mongod.log"
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/mongodbs/mdb3/mongod.pid"
net:
bindIp: 0.0.0.0
port:27020
maxIncomingConnections: 10000
storage:
dbPath: "/data/mongodbs/mdb3/data/db"
journal:
enabled: true
engine: wiredTiger
directoryPerDB: true
replication:
oplogSizeMB: 50
replSetName: "mdbcluster"
#註：如果配置security的keyFile，則開啟了授權認證，則不能添加用戶，如果要添加用戶可以先暫時關閉
security:
keyFile: "/data/mongodbs/mdb3/key/keyfile"
clusterAuthMode: "keyFile"
⑤、啟動3個集群集群
[root@jianshu ~]# /usr/local/mongodb/bin/mongod -f /data/mongodbs/mdb1/mongodb.conf
[root@jianshu ~]# /usr/local/mongodb/bin/mongod -f /data/mongodbs/mdb2/mongodb.conf
[root@jianshu ~]# /usr/local/mongodb/bin/mongod -f /data/mongodbs/mdb3/mongodb.conf
⑥、查看啟動狀態
[root@jianshu ~]# netstat -lnpt | egrep "270"
tcp 0 0 0.0.0.0:27018 0.0.0.0:* LISTEN 10762/mongod
tcp 0 0 0.0.0.0:27019 0.0.0.0:* LISTEN 10827/mongod
tcp 0 0 0.0.0.0:27020 0.0.0.0:* LISTEN 10869/mongod
⑦、配置集群
[root@jianshu ~]# mongo -port 27018
MongoDB shell version v4.0.13
connecting to: mongodb://127.0.0.1:27018/?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("da5e47a0-319d-4081-ae47-2c58ace5add2") }
MongoDB server version: 4.0.13
>use admin
switched to db admin
>config={ _id:"mdbcluster", members:[ {"_id" : 0, "host" : "127.0.0.1:27018"}, {"_id" : 1, "host" : "127.0.0.1:27019"}, {"_id" : 2, "host" : "127.0.0.1:27020"} ] }
{
"_id" : "mdbcluster",
"members" : [
{
"_id" : 0,
"host" : "127.0.0.1:27018"
},
{
"_id" : 1,
"host" : "127.0.0.1:27019"
},
{
"_id" : 2,
"host" : "127.0.0.1:27020"
}
]
}
>rs.initiate(config);
{ "ok" : 1 }
mdbcluster:SECONDARY>rs.status();
{
"set" : "mdbcluster",
"date" : ISODate("2020-10-23T06:34:39.614Z"),
"myState" : 1,
"term" : NumberLong(1),
"syncingTo" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"heartbeatIntervalMillis" : NumberLong(2000),
"optimes" : {
"lastCommittedOpTime" : {
"ts" : Timestamp(1603434879, 5),
"t" : NumberLong(1)
},
"readConcernMajorityOpTime" : {
"ts" : Timestamp(1603434879, 5),
"t" : NumberLong(1)
},
"appliedOpTime" : {
"ts" : Timestamp(1603434879, 5),
"t" : NumberLong(1)
},
"rableOpTime" : {
"ts" : Timestamp(1603434879, 5),
"t" : NumberLong(1)
}
},
"lastStableCheckpointTimestamp" : Timestamp(1603434879, 1),
"members" : [
{
"_id" : 0,
"name" : "127.0.0.1:27018",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 110,
"optime" : {
"ts" : Timestamp(1603434879, 5),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2020-10-23T06:34:39Z"),
"syncingTo" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"infoMessage" : "could not find member to sync from",
"electionTime" : Timestamp(1603434878, 1),
"electionDate" : ISODate("2020-10-23T06:34:38Z"),
"configVersion" : 1,
"self" : true,
"lastHeartbeatMessage" : ""
},
{
"_id" : 1,
"name" : "127.0.0.1:27019",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 12,
"optime" : {
"ts" : Timestamp(1603434867, 1),
"t" : NumberLong(-1)
},
"optimeDurable" : {
"ts" : Timestamp(1603434867, 1),
"t" : NumberLong(-1)
},
"optimeDate" : ISODate("2020-10-23T06:34:27Z"),
"optimeDurableDate" : ISODate("2020-10-23T06:34:27Z"),
"lastHeartbeat" : ISODate("2020-10-23T06:34:38.161Z"),
"lastHeartbeatRecv" : ISODate("2020-10-23T06:34:39.323Z"),
"pingMs" : NumberLong(0),
"lastHeartbeatMessage" : "",
"syncingTo" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"infoMessage" : "",
"configVersion" : 1
},
{
"_id" : 2,
"name" : "127.0.0.1:27020",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 12,
"optime" : {
"ts" : Timestamp(1603434867, 1),
"t" : NumberLong(-1)
},
"optimeDurable" : {
"ts" : Timestamp(1603434867, 1),
"t" : NumberLong(-1)
},
"optimeDate" : ISODate("2020-10-23T06:34:27Z"),
"optimeDurableDate" : ISODate("2020-10-23T06:34:27Z"),
"lastHeartbeat" : ISODate("2020-10-23T06:34:38.161Z"),
"lastHeartbeatRecv" : ISODate("2020-10-23T06:34:39.324Z"),
"pingMs" : NumberLong(0),
"lastHeartbeatMessage" : "",
"syncingTo" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"infoMessage" : "",
"configVersion" : 1
}
],
"ok" : 1,
"operationTime" : Timestamp(1603434879, 5),
"$clusterTime" : {
"clusterTime" : Timestamp(1603434879, 5),
"signature" : {
"hash" : BinData(0,"La+1SisigTTB+RW6X6nguiyVx5U="),
"keyId" : NumberLong("6886700366570717185")
}
}
}
⑧、附：登錄mongo腳本和加入系統命令
[root@jianshu ~]# cat /root/script/mongo-login-27018.sh
/usr/local/mongodb/bin/mongo -port 27018
[root@jianshu ~]# cat /root/script/mongo-login-27019.sh
/usr/local/mongodb/bin/mongo -port 27019
[root@jianshu ~]# cat /root/script/mongo-login-27020.sh
/usr/local/mongodb/bin/mongo -port 27020
[root@jianshu ~]# ln -s /root/script/mongo-login-27018.sh /usr/bin/27018mongo
[root@jianshu ~]# ln -s /root/script/mongo-login-27019.sh /usr/bin/27019mongo
[root@jianshu ~]# ln -s /root/script/mongo-login-27020.sh /usr/bin/27020mongo
⑨、附：創建用戶、創建管理員用戶、添加數據
樣例1，創建普通用戶：
> use test
switched to db test
> db.createUser(
... {
... user: "test",
... pwd: "test",
... roles: [ "readWrite"]
... }
... );
Successfully added user: { "user" : "member", "roles" : [ "readWrite" ] }
>
樣例2，創建管理員用戶：
> use admin
switched to db admin
> db.createUser(
{
user: "root",
pwd: "root",
roles: ["dbAdmin"]
}
);
Successfully added user: { "user" : "root", "roles" : [ "dbAdmin" ] }
>
樣例3，添加表數據：
> use test
>db.createCollection('table1');
>db.table1.insert({name:'amu',age:22})
> db.table1.find();
② mongodb怎麼查看集群 命令
1. 導出需要遷移的數據； /usr/local/mongo/bin/mongomp --host 172.16.8.134:29017 -d 201 -o /data/data/mongo/tmp/ --directoryperdb 並且將該數據同步到131的/data/data/mongodb/tmp目錄中 2. 建立第一個副本集
③ mongodb集群搭建 （仲裁模式）
8.1 主節點執行
/yuanben/mongodb/mongodb/bin/mongo 192.168.0.11:27017
use admin
mgdb_rscfg={ _id:"yuanben-rs", members:[ {_id:0,host:'192.168.0.11:27017',priority:2}, {_id:1,host:'192.168.0.12:27017',priority:1},{_id:2,host:'192.168.0.13:27017',arbiterOnly:true}] };
rs.initiate(mgdb_rscfg);
通過rs.status(); 查看是否生效 生效後 mater slave的客戶端命令顯示皆有變化哦
8.2 設置從節點讀許可權
讓slave節點支持讀操作，在slave節點上修改mongorc.js啟動文件
vi ~/.mongorc.js
加入以下內容即可：
setSlaveOk();
function setSlaveOk() {
rs.slaveOk();
print('slaveOk has been setted!』);
}
需要重啟這個節點
kill -2 12595
./start.sh
8.3 創建用戶
use admin;
db.createUser(
{
user: 「root」,
pwd: 「xxxxxx」,
roles: [ { role: "root", db: "admin" } ]
}
);
db.createUser(
{
user: 「scms」,
pwd: 「xxxxxx」,
roles: [ { role: "readWrite", db: "scms" },{ role: "dbOwner", db: "scms" } ]
}
);
④ MongoDB分片集群搭建
分片（sharding）是一種跨多台機器分布數據的方法，MongoDB使用分片來支持具有非常大的數據集和高吞吐量操作的部署。換句話說：分片就是將數據拆分，將其分散存在不同的機器上的過程，將數據分散到不同的機器上，不需要功能強大的大型計算機就可以存儲更多的數據，處理更多的負載。
MongoDB分片集群包含以下組件：
下圖描述了分片集群中組件的交互：
本文搭建的副本集集群是兩個分片節點副本集（3+3）+一個配置節點副本集（3）+兩個路由節點（2），共11個服務節點，具體如下圖所示：
本次搭建一主一副本一仲裁，相關的配置文件、數據、日誌都放在sharded_cluster相應的子目錄下面，具體步驟如下：
myshardrs01
設置sharding.clusterRole需要mongod實例運行復制。 要將實例部署為副本集成員，請使用
replSetName設置並指定副本集的名稱。
使用客戶端命令連接主節點，這里最好連接主節點
執行初始化副本集命令：
查看副本集情況：
同樣搭建一主一副本一仲裁，相關的配置文件、數據、日誌都放在sharded_cluster相應的子目錄下面，
具體步驟如下：
myshardrs02
myshardrs01_27318
設置sharding.clusterRole需要mongod實例運行復制。 要將實例部署為副本集成員，請使用
replSetName設置並指定副本集的名稱
myshardrs01_27418
myshardrs01_27518
啟動第二套副本集：一主一副本一仲裁
依次啟動三個mongod服務：
查看服務是否啟動：
新建或修改配置文件：
myconfigrs_27019：
新建或修改配置文件：
myconfigrs_27119
新建或修改配置文件：
myconfigrs_27219
依次啟動配置的mongod副本集：一主兩副本
查看服務是否啟動：
⑤ 七、rancher搭建Mongodb集群化部署：
一．Mongodb在rancher上面部署：
命令如圖：mongod --keyFile /data/key/keyfile --replSet rs --bind_ip localhost,prod
二．Mongodb在伺服器上的配置keyfile
這個keyfile怎麼生成的我也沒試過，官網有一些解釋但是沒說具體怎麼生成如圖：
我們需要把這個文件放在：
這些添加好就可以互相添加服務了如圖：
其實就是各個容器是不互相影響的，如何讓他們在互通就需要互相添加你要用的服務
這個名稱如果不配置就用默認的，看你要不要配置
Prod：
Master:
Slave:
三．Mongodb集群測試是否成功：
參考文獻： https://www.yii.com/mongodb/mongodb_quick_guide.html
四．Mongodb管理界面mongo-express搭建
成功日誌：
五．Mongodb整合對外埠搭建haproxy
⑥ 通過java代碼是否能夠判斷MongoDB集群的某個表設置了分片
下面的示例是官方文檔中給出的collections的其中一個document：
{
"_id" : "records.pets", --Database name.Collection name
"lastmod" : ISODate("1970-01-16T15:00:58.107Z"),
"dropped" : false,
"key" : {
"a" : 1 --Shard key
},
"unique" : false,
"lastmodEpoch" : ObjectId("5078407bd58b175c5c225fdc")
}
使用Java代碼檢索上述collection，可獲悉所需分片信息。
⑦ MongoDB是什麼，怎麼用看完你就知道了
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫，是NoSQL類型的資料庫。
（1）MongoDB提出的是文檔、集合的概念，使用BSON（類JSON）作為其數據模型結構，其結構是面向對象的而不是二維表，存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型，使得MongoDB能在生產環境中提供高讀寫的能力，吞吐量較於mysql等SQL資料庫大大增強。
（2）易伸縮，自動故障轉移。易伸縮指的是提供了分片能力，能對數據集進行分片，數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念，MongoDB能檢測主節點是否存活，當失活時能自動提升從節點為主節點，達到故障轉移。
（3）數據模型因為是面向對象的，所以可以表示豐富的、有層級的數據結構，比如博客系統中能把「評論」直接懟到「文章「的文檔中，而不必像myqsl一樣創建三張表來描述這樣的關系。
（1）文檔數據類型
SQL類型的資料庫是正規化的，可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性，所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫，且MongoDB沒有固定的Schema，正因為MongoDB少了一些這樣的約束條件，可以讓數據的存儲數據結構更靈活，存儲速度更加快。
（2）即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力，保留了索引（底層是基於B tree）的能力。這一點汲取了關系型資料庫的優點，相比於同類型的NoSQL redis 並沒有上述的能力。
（3）復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘，目的是可以提供自動故障轉移、擴展讀能力。
（4）速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ，即通過驅動調用寫入時，可以立即得到返回得到成功的結果（即使是報錯），這樣讓寫入的速度更加快，當然會有一定的不安全性，完全依賴網路。
MongoDB提供了Journaling日誌的概念，實際上像mysql的bin-log日誌，當需要插入的時候會先往日誌裡面寫入記錄，再完成實際的數據操作，這樣如果出現停電，進程突然中斷的情況，可以保障數據不會錯誤，可以通過修復功能讀取Journaling日誌進行修復。
（5）數據擴展
MongoDB使用分片技術對數據進行擴展，MongoDB能自動分片、自動轉移分片裡面的數據塊，讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的，而且在啟動時不需對MongoDB使用的內存進行配置，因為其設計哲學是內存管理最好是交給操作系統，缺少內存配置是MongoDB的設計亮點，另外，還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動，使用js shell能使用js直接與MongoDB進行交流，像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據，另外還提供了各種語言的驅動包，方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式，遷移資料庫。
mongoexport和mongoimport，用來導入導出JSON、CSV和TSV數據，數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入，但是在導入前順便還要注意一下，為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具，用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此，可以總結得到，MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單，所以數據極快，而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面，且最好單獨部署，因為是資料庫，所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊，所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句，主要是為了展示使用MongoDB shell的方便性，如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作，資料庫與集合只有在第一次插入文檔時才會被創建，與對數據的動態處理方式是一致的。簡化並加速開發過程，而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建，可以開啟嚴格模式。
以上的命令只是簡單實例，假設如果你之前沒有學習過任何資料庫語法，同時開始學sql查詢語法和MongoDB 查詢語法，你會發現哪一個更簡單呢？如果你使用的是java驅動去操作MongoDB，你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣，只要構建好一個查詢條件對象，便能輕松查詢（接下來會給出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成沒問題，也正因為這樣簡潔，完善的查詢機制，深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情，簡單的引用，簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用，下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作，可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的，如果查詢結果較多，恰好無法全部放進第一伺服器中，將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間，不會等待伺服器的響應，驅動會假設寫入是成功的，實際是使用客戶端生成對象id，但是該行為可以通過配置配置，可以通過安全模式開啟，安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔，在鍵值中有指向不定類型值的鍵，MongoDB擁有即時查詢，但不支持聯結操作，簡單的鍵值存儲只能根據單個鍵來獲取值，不支持事務，但支持多種原子更新操作。
如讀寫比是怎樣的，需要何種查詢，數據是如何更新的，會不會存在什麼並發問題，數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則，比如：
資料庫是集合的邏輯與物理分組，MongoDB沒有提供創建資料庫的語法，只有在插入集合時，資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件，所有集合、索引和資料庫的其他元數據都保存在這些文件中，查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器，集合的名稱可以包含數字、字母或 . 符號，但必須以字母或數字開頭，完全。
限定集合名不能超過128個字元，實際上 . 符號在集合中很有用，能提供某種虛擬命名空間，這是一種組織上的原則，和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值，在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式，所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內，因為這樣可以防止創建難看的數據類型，且小文檔可以提升性能，批量插入文檔理想數字范圍是10~200，大小不能超過16MB。
（1）索引能顯著減少獲取文檔的所需工作量，具體的對比可以通過 .explain()方法進行對比
（2）解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢，當沒有最適合索引時，會先不同的使用各個索引進行查詢，最終選出一個最優索引做查詢
（3）如果有一個a-b的復合索引，那麼僅針對a的索引是冗餘的
（4）復合索引里的鍵的順序是很重要的
（1）單鍵索引
（2）復合索引
（3）唯一性索引
（4）稀疏索引
如索引的欄位會出現null的值，或是大量文檔都不包含被索引的鍵。
如果數據集很大時，構建索引將會花費很長的時間，且會影響程序性能，可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時，可使用
對索引進行壓縮，重建。
（1）查閱慢查詢日誌
（2）分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的，不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性，與副本集的強壯性，監控容易性
提供主從復制能力，熱備能力，故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的，先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來，添加到主節點的oplog里。與此同時，所有從結點復制oplog。首先，查看自己oplog里最後一條的時間戳；其次，查詢主節點oplog里所有大於此時間戳的條目;最後，把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況，從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員，可以通過rs.status()看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述，但是有一個特殊場景，如果從節點和仲裁節點都被殺了，只剩下主節點，他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫，那麼數據不能算提交，當該主節點變成從節點時，便會觸發回滾，那些沒寫到從庫的數據將會被刪除，可以通過rollback子目錄中的BSON文件恢復回滾的內容。
（1）使用單節點鏈接
只能鏈接到主節點，如果鏈接到從節點的話，會被拒絕寫入操作，但是如果沒有使用安全模式，因為mongo的fire and forget 特性，會把拒絕寫入的異常給吃掉。
（2）使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移，但是當副本集進行新的選舉時，還是會出現故障，如果不使用安全模式，依舊會出現寫不進去，但現實成功的情況。
分片是資料庫切分的一個概念實現，這里也是簡單總結為什麼要使用分片以及分片的原理，操作。
當數據量過大，索引和工作數據集佔用的內存就會越來越多，所以需要通過分片負載來解決這個問題
（1）分片組件
（2）分片的核心操作
分片一個集合：分片是根據一個屬性的范圍進行劃分的，MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊：是位於一個分片中的一段連續的分片鍵范圍，可以理解為若干個塊組成分片，分片組成MongoDB的全部數據
（3）拆分與遷移
塊的拆分：初始化時只有一個塊，達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二，這樣就有了兩個塊，每個塊都有相同數量的文檔。
遷移：當分片中的數據大小不一時會產生遷移的動作，比如分片A的數據比較多，會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡，是由名為均衡器的軟體進程管理的，任務是確保數據在各個分片中保持均勻分布，當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時，均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
（1）分片查詢類型
（2）索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引，其他地方不行，因為這需要在分片間進行通信，實施起來很復雜。
當創建分片時，會根據分片鍵創建一個索引。
（1）分片鍵是不可修改的、分片鍵的選擇非常重要
（2）低效的分片鍵
（3）理想的分片鍵
（1）部署拓撲
根據不同的數據中心劃分
這里寫圖片描述
（2）最低要求
（3）配置的注意事項
需要估計集群大小，可使用以下命令對現有集合進行分片處理
（4）備份分片集群
備份分片時需要停止均衡器
（1）部署架構
使用64位機器、32位機器會制約mongodb的內存，使其最大值為1.5GB
（2）cpu
mongodb 只有當索引和工作集都可放入內存時，才會遇到CPU瓶頸，CPU在mongodb使用中的作用是用來檢索數據，如果看到CPU使用飽和的情況，可以通過查詢慢查詢日誌，排查是不是查詢的問題導致的，如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU，但是mongodb寫入時間一次只用到一個核，如果有頻繁的寫入行為，可以通過分片來解決這個問題
（3）內存
大內存是mongodb的保障，如果工作集大小超過內存，將會導致性能下降，因為這將會增加數據載入入內存的動作
（4）硬碟
mongodb默認每60s會與磁碟強制同步一次，稱為後台刷新，會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存，高速磁碟將會減少同步的時間
（5）文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
（6）文件描述符
linux 默認文件描述符是1024，需要大額度的提升這個額度
（7）時鍾
mongodb各個節點伺服器之間使用ntp伺服器
（1）綁定IP
啟動時使用 - -bind_ip 命令
（2）身份驗證
啟動時使用 - -auth 命令
（3）副本集身份認證
使用keyFile，注意keyFile文件的許可權必須是600，不然會啟動不起來
（1）拓撲結構
搭建副本集至少需要兩個節點，其中仲裁結點不需要有自己的伺服器
（2）Journaling日誌
寫數據時會先寫入日誌，而此時的數據也不是直接寫入硬碟，而是寫入內存
但是Journaling日誌會消耗內存，所以可以在主庫上面關閉，在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時，可以通過驅動確保Journaling插入後再反饋，但是會非常影響性能。
logpath 選項指定日誌存儲地址
-vvvvv 選項（v越多，輸出越詳細）
db.runCommand({logrotare:1}) 開啟滾動日誌
（1）serverStatus
這里寫圖片描述
（2）top
（3）db.currentOp()
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
（1）mongomp
把資料庫內容導出成BSON文件，而mongorestore能讀取並還原這些文件
（2）mongorestore
把導出的BSON文件還原到資料庫
（3）備份原始數據文件
可以這么做，但是，操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 請求解鎖操作，但是資料庫不會立刻解鎖，需要使用db.currentOp()驗證。
（1）修復
mongd --repair 修復所有資料庫
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引
（2）壓緊
壓緊，會重寫數據文件，並重建集合的全部索引，需要停機或者在從庫上面運行,如果需要在主庫上面運行，需要添加force參數 保證加寫鎖。
（1）監控磁碟狀態
（2）為提升性能檢查索引和查詢
總的來說，掃描盡可能少的文檔。
保證沒有冗餘的索引，冗餘的索引會佔用磁碟空間、消耗更多的內存，在每次寫入時還需做更多工作
（3）添加內存
dataSize 數據大小 和 indexSize 索引大小，如果兩者的和大於內存，那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上，就會因磁碟碎片而影響性能，需要壓縮。
⑧ mongoDB分片集群
集群 》 片 》 塊 》 文檔
一個集群由多個分片組成，一個分片存儲了多個塊（邏輯上的數據分塊），一個快包含了多個文檔，文檔不是最小的單位，文檔存了一個個的欄位，一個欄位或者多個欄位可以組成一個片鍵
片鍵決定數據可以分成多少塊
配置表裡存的數據分布范圍是怎麼定的？
數據在邏輯上被分成了4塊，加入系統存的是公司用戶信息，按照年齡來分，18-60，一個年齡一個分塊，最大可以分43塊，在把塊分到多個分片上，但是容易造成22-25的用戶數據顯得特別大，導致了熱點片的情況
片鍵不是連續的而是通過hash散列到不同的片區，解決了數據不均勻的情況，但是范圍查詢效率低，需要遍歷全部的分片才能滿足業務查詢，用戶的訂單系統，按照下單用戶id去做hash，這樣不同用戶的訂單數據就會被均勻分到不同的分片，單查某個用戶的訂單數據是非常高效的，但是根據時間范圍去查就要掃描全部分片
根據地域去劃分
切割器：可以對某個源分片的數據按chunk去做切割
平衡器：
當某些分片數據不均勻的情況下，平衡器就發揮作用了，他會發出一個命令讓切割器去需要移動的分片上去做數據切割，再把數據移動到數據少的分片上。具體的步驟如下:
平衡器向源分片發送moveChunk的命令
源分片收到命令後，會啟動自己內部的一個moveChunk命令，如果在數據移動過程中有客戶端發來讀寫請求的話，都會發送到源分片。（因為配置伺服器上的元數據還沒有改變）
目標片開始向源分片請求將要移動的數據塊的文檔，准備拷貝文檔數據。
當目標分片接收到據塊的最後一個文檔後，目標分片會啟動一個同步進程來檢查,是否已經拷貝完全部的文檔。
當同步完成後，目標分片會連接配置伺服器，更新元數據列表中數據塊的地址。
當目標分片完成元數據更新後，源分片就會刪除原來的數據塊.如果有新的數據塊需要移動的話，可以繼續進行移動。
配置伺服器會通知monogs進程更新自己的映射表。
數據容量日益增長，訪問性能降低
⑨ MongoDB主從
mongodb的集群搭建方式主要有三種，主從模式，Replica set模式，sharding模式, 三種模式各有優劣，適用於不同的場合，屬Replica set應用最為廣泛，主從模式現在用的較少，sharding模式最為完備，但配置維護較為復雜。本文為Replica Set模式。
在復制集中，主節點是唯一能夠接收寫請求的節點。MongoDB在主節點進行寫操作，並將這些操作記錄到主節點的oplog中。而從節點將會從oplog復制到其本機，並將這些操作應用到自己的數據集上。（復制集最多隻能擁有一個主節點）
從節點通過應用主節點傳來的數據變動操作來保持其數據集與主節點一致。從節點也可以通過增加額外參數配置來對應特殊需求。例如，從節點可以是non-voting或是priority 0.
仲裁節點即投票節點，其本身並不包含數據集，且也無法晉升為主節點。但是，旦當前的主節點不可用時，投票節點就會參與到新的主節點選舉的投票中。仲裁節點使用最小的資源並且不要求硬體設備。投票節點的存在使得復制集可以以偶數個節點存在，而無需為復制集再新增節點 不要將投票節點運行在復制集的主節點或從節點機器上。 投票節點與其他 復制集節點的交流僅有：選舉過程中的投票，心跳檢測和配置數據。這些交互都是不加密的。
各節點使用不同角色節點配置
172.18.169.38:27017(primary)
172.18.169.39:27017(secondary)
172.18.169.39:27018(arbiter)