❶ 如何實現mongodb中的sum匯總操作
首先在本地機器上安裝並設置MongoDB服務。
從Mongo網站上下載MongoDB，解壓到本地目錄，比如C:>Mongo
在上一個文件夾內創建數據目錄。比如：C:\Mongo\Data
如果數據文件存放在其他地方，那麼在用mongod.exe命令啟動MongoDB時，需要在命令行加參數—-dbpath
啟動服務
MongoDB提供了兩種方式：mongod.exe以後台進程啟動；mongo.exe啟動命令行界面，可做管理操作。這兩個可執行文件都位於Mongo\bin目錄下；
進入Mongo安裝目錄的bin目錄下，比如：C:> cd Mongo\bin
有兩種啟動方式，如下：
mongod.exe –dbpath C:\Mongo\data
或者
mongod.exe –config mongodb.config
mongodb.config是Mongo\bin目錄下的配置文件，需要在此配置文件中指定數據目錄（比如，dbpath= C:\Mongo\Data）的位置。
連接到MongoDB，到這一步，mongo後台服務已經啟動，可以通過http://localhost:27017查看。 MongoDB啟動運行後，我們接下來看它的聚合函數。
實現聚合函數
在關系資料庫中，我們可以在數值型欄位上執行包含預定義聚合函數的SQL語句，比如，SUM()、COUNT()、MAX()和MIN()。但是在MongoDB中，需要通過MapRece功能來實現聚合以及批處理，它跟SQL里用來實現聚合的GROUP BY從句比較類似。下一節將描述關系資料庫中SQL方式實現的聚合和相應的通過MongoDB提供的MapRece實現的聚合。
為了討論這個主題，我們考慮如下所示的Sales表，它以MongoDB中的反範式形式呈現。
Sales表
#
列名
數據類型
1
OrderId
INTEGER
2
OrderDate
STRING
3
Quantity
INTEGER
4
SalesAmt
DOUBLE
5
Profit
DOUBLE
6
CustomerName
STRING
7
City
STRING
8
State
STRING
9
ZipCode
STRING
10
Region
STRING
11
ProctId
INTEGER
12
ProctCategory
STRING
13
ProctSubCategory
STRING
14
ProctName
STRING
15
ShipDate
STRING
基於SQL和MapRece的實現
我們提供了一個查詢的樣例集，這些查詢使用聚合函數、過濾條件和分組從句，及其等效的MapRece實現，即MongoDB實現SQL中GROUP BY的等效方式。在MongoDB存儲的文檔上執行聚合操作非常有用，這種方式的一個限制是聚合函數（比如，SUM、AVG、MIN、MAX）需要通過mapper和recer函數來定製化實現。
MongoDB沒有原生態的用戶自定義函數（UDFs）支持。但是它允許使用db.system.js.save命令來創建並保存javaScript函數，JavaScript函數可以在MapRece中復用。下表是一些常用的聚合函數的實現。稍後，我們會討論這些函數在MapRece任務中的使用。
聚合函數
Javascript 函數
SUM
db.system.js.save( { _id : "Sum" ,
value : function(key,values)
{
var total = 0;
for(var i = 0; i < values.length; i++)
total += values[i];
return total;
}});
AVERAGE
db.system.js.save( { _id : "Avg" ,
value : function(key,values)
{
var total = Sum(key,values);
var mean = total/values.length;
return mean;
}});
MAX
db.system.js.save( { _id : "Max" ,
value : function(key,values)
{
var maxValue=values[0];
for(var i=1;i
MIN
db.system.js.save( { _id : "Min" ,
value : function(key,values)
{
var minValue=values[0];
for(var i=1;i
VARIANCE
db.system.js.save( { _id : "Variance" ,
value : function(key,values)
{
var squared_Diff = 0;
var mean = Avg(key,values);
for(var i = 0; i < values.length; i++)
{
var deviation = values[i] - mean;
squared_Diff += deviation * deviation;
}
var variance = squared_Diff/(values.length);
return variance;
}});
STD DEVIATION
db.system.js.save( { _id : "Standard_Deviation"
, value : function(key,values)
{
var variance = Variance(key,values);
return Math.sqrt(variance);
}});
SQL和MapRece腳本在四種不同的用例場景中實現聚合函數的代碼片段如下表所示。
1.各地區的平均訂單量
下面的查詢是用來獲取不同地區的平均訂單量。
SQL Query
MapRece Functions
SELECT
db.sales.runCommand(
{
maprece : "sales" ,
City,
State,
Region,
map:function()
{ // emit function handles the group by
emit( {
// Key
city:this.City,
state:this.State,
region:this.Region},
// Values
this.Quantity);
},
AVG(Quantity)
rece:function(key,values)
{
var result = Avg(key, values);
return result;
}
FROM sales
GROUP BY City, State, Region
// Group By is handled by the emit(keys, values)
line in the map() function above
out : { inline : 1 } });
2.產品的分類銷售總額
下面的查詢是用來獲取產品的分類銷售額，根據產品類別的層級分組。在下面例子中，不同的產品類別作為個體維度，它們也可以被稱為更復雜的基於層次的維度。
SQL 查詢
MapRece 函數
SELECT
db.sales.runCommand(
{
maprece : "sales" ,
ProctCategory, ProctSubCategory, ProctName,
map:function()
{
emit(
// Key
{key0:this.ProctCategory,
key1:this.ProctSubCategory,
key2:this.ProctName},
// Values
this.SalesAmt);
},
SUM(SalesAmt)
rece:function(key,values)
{
var result = Sum(key, values);
return result;
}
FROM sales
GROUP BY ProctCategory, ProctSubCategory, ProctName
// Group By is handled by the emit(keys, values)
line in the map() function above
out : { inline : 1 } });
3. 一種產品的最大利潤
下面的查詢是用來獲取一個給定產品基於過濾條件的最大利潤。
SQL查詢
MapRece 函數
SELECT
db.sales.runCommand(
{
maprece : "sales" ,
ProctId, ProctName,
map:function()
{
if(this.ProctId==1)
emit( {
key0:this.ProctId,
key1:this.ProctName},
this.Profit);
},
MAX(SalesAmt)
rece:function(key,values)
{
var maxValue=Max(key,values);
return maxValue;
}
FROM sales
WHERE ProctId=』1』
// WHERE condition implementation is provided in
map() function
GROUP BY ProctId, ProctName
// Group By is handled by the emit(keys, values)
line in the map() function above
out : { inline : 1 } });
4. 總量、總銷售額、平均利潤
這個場景的需求是計算訂單的總數、總銷售額和平均利潤，訂單ID在1到10之間，發貨時間在2011年的1月1日到12月31日之間。下面的查詢是用來執行多個聚合，比如，在指定年份以及指定的不同區域和產品類別范圍里訂單的總數、總銷售額和平均利潤。
SQL 查詢
MapRece 函數
SELECT
db.sales.runCommand(
{ maprece : "sales" ,
Region,
ProctCategory,
ProctId,
map:function()
{
emit( {
// Keys
region:this.Region,
proctCategory:this.ProctCategory,
proctid:this.ProctId},
// Values
{quantSum:this.Quantity,
salesSum:this.SalesAmt,
avgProfit:this.Profit} );
}
Sum(Quantity),
Sum(Sales),
Avg(Profit)
rece:function(key,values)
{
var result=
{quantSum:0,salesSum:0,avgProfit:0};
var count = 0;
values.forEach(function(value)
{
// Calculation of Sum(Quantity)
result.quantSum += values[i].quantSum;
// Calculation of Sum(Sales)
result.salesSum += values[i].salesSum;
result.avgProfit += values[i].avgProfit;
count++;
}
// Calculation of Avg(Profit)
result.avgProfit = result.avgProfit / count;
return result;
},
FROM Sales
WHERE
Orderid between 1 and 10 AND
Shipdate BETWEEN 『01/01/2011』 and
『12/31/2011』
query : {
"OrderId" : { "$gt" : 1 },
"OrderId" : { "$lt" : 10 },
"ShipDate" : { "$gt" : "01/01/2011" },
"ShipDate" : { "$lt" : "31/12/2011" },
},
GROUP BY
Region, ProctCategory, ProctId
// Group By is handled by the emit(keys, values)
line in the map() function above
LIMIT 3;
limit : 3,
out : { inline : 1 } });
既然我們已經看了在不同業務場景下的聚合函數的代碼示例，接下來我們准備來測試這些函數。
測試聚合函數
MongoDB的MapRece功能通過資料庫命令來調用。Map和Rece函數在前面章節里已經使用JavaScript實現。下面是執行MapRece函數的語法。
db.runCommand(
{ maprece : <collection>,
map : <mapfunction>,
rece : <recefunction>
[, query : <query filter object>]
[, sort : <sorts the input objects using this key. Useful for
optimization, like sorting by the emit key for fewer reces>]
[, limit : <number of objects to return from collection>]
[, out : <see output options below>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, jsMode : true]
[, verbose : true]
}
)
Where the Output Options include:
{ replace : "collectionName" }
{ merge : "collectionName"
{ rece : "collectionName" }
{ inline : 1}
❷ python mongodb 怎麼執行 db.serverStatus 命令
> db.serverStatus();
{
"host" : "localhost.localdomain", --hostname
"version" : "2.4.9", --版本
"process" : "mongod", --進程名稱
"pid" : 5099, --進程ID
"uptime" : 1595, --啟動時間（單位：S)
"uptimeMillis" : NumberLong(1595123),
"uptimeEstimate" : 1577, --基於MongoDB內部粗粒度定時器的運行時間
"localTime" : ISODate("2014-04-17T06:55:44.924Z"),--server的本地時間
"asserts" : {
"regular" : 0, --server啟動以來拋出正規斷言（assert 類似於異常處理的形式）總數目
"warning" : 0, --server啟動以來拋出的告警總數目
"msg" : 0, --消息斷言數目。伺服器內部定義的良好字元串錯誤
"user" : 3, --用戶斷言數目。用戶產生的錯誤，譬如：磁碟空間滿；重復鍵。
"rollovers" : 0 --server啟動以來，assert counters have rolled over的次數
},
"backgroundFlushing" : {
"flushes" : 26, --資料庫刷新寫到磁碟的次數
"total_ms" : 67, --資料庫刷新數據到磁碟花費的微秒數
"average_ms" : 2.576923076923077,--執行單次刷新花費的平均微秒數
"last_ms" : 2, --最後一次執行完成刷新數據到磁碟花費的微秒數
"last_finished" : ISODate("2014-04-17T06:55:09.819Z")--當最後一次刷新數據完成時的時間戳
},
"connections" : {
"current" : 8, --當前活動連接量。連接到server的當前活躍連接數目
"available" : 72, --剩餘空閑連接量。剩餘的可用連接數目
"totalCreated" : NumberLong(754)
},
"cursors" : {
"totalOpen" : 0, --server為client保持的游標（cursor）總數
"clientCursors_size" : 0,
"timedOut" : 0 --server啟動以來游標（cursor）超時的總數
},
"r" : {
"commits" : 30, --上一間隔journal日誌發生commit的次數
"journaledMB" : 0, --上一間隔寫到journal日誌的數據量（單位：MB）
"writeToDataFilesMB" : 0, --上一間隔journal日誌寫到數據文件的數據量（單位：MB）
"compression" : 0, --
"commitsInWriteLock" : 0, --寫鎖期間發生commits的次數
"earlyCommits" : 0, --schele時間前請求commit的次數
"timeMs" : {
"dt" : 3064,
"prepLogBuffer" : 0, --准備寫journal日誌花費的時間
"writeToJournal" : 0, --寫journal日誌花費的實際時間
"writeToDataFiles" : 0, --journal日誌後寫數據文件花費的時間
"remapPrivateView" : 0 --The amount of time spent remapping -on-write memory mapped views
}
},
"extra_info" : {
"note" : "fields vary by platform",
"heap_usage_bytes" : 3838448, --此過程中所有的堆位元組數目。僅適用於linux
"page_faults" : 31058356 --此過程中訪問內存中頁面失敗的總次數。僅適用於Linux
},
"globalLock" : {
"totalTime" : 1238418105923, --全局鎖創建的時間（單位：ms 微秒）
"lockTime" : 75055831911, --全局鎖保持的時間（單位：ms 微秒）
"ratio" : 0.06060621332329477, --lockTime和totalTime的比
"currentQueue" : {
"total" : 0, --等待全局鎖的隊列中操作數目
"readers" : 0, --等待讀鎖的隊列中操作數目
"writers" : 0 --等待寫鎖的隊列中操作數目
},
"activeClients" : {
"total" : 1, --連接到server的當前活動client數目
"readers" : 1, --執行讀操作的當前活動client數目
"writers" : 0 --執行寫操作的當前活動client數目
}
},
"indexCounters" : {
"accesses" : 196, --Btree索引的訪問次數（索引被訪問量）
"hits" : 196, --內存中的Btree頁的數目。（索引命中量）
"misses" : 0, --內存中不存在的Btree也數目。（索引偏差量）（索引內存訪問失敗次數）
"resets" : 0, --索引計數器被重置為0的次數
"missRatio" : 0 --索引偏差率（未命中率）
},
"locks" : {
"." : {
"timeLockedMicros" : {
"R" : NumberLong(39089),
"W" : NumberLong(43649)
},
"timeAcquiringMicros" : {
"R" : NumberLong(36077),
"W" : NumberLong(5232)
}
},
"admin" : {
"timeLockedMicros" : {
"r" : NumberLong(818),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(70),
"w" : NumberLong(0)
}
},
"local" : {
"timeLockedMicros" : {
"r" : NumberLong(3414),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(352),
"w" : NumberLong(0)
}
},
"WORKING_COLLECTION" : {
"timeLockedMicros" : {
"r" : NumberLong(1921),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(138),
"w" : NumberLong(0)
}
},
"mydb" : {
"timeLockedMicros" : {
"r" : NumberLong(737),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(92),
"w" : NumberLong(0)
}
},
"test" : {
"timeLockedMicros" : {
"r" : NumberLong(959),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(81),
"w" : NumberLong(0)
}
},
"mdsp" : {
"timeLockedMicros" : {
"r" : NumberLong(261031),
"w" : NumberLong(6093)
},
"timeAcquiringMicros" : {
"r" : NumberLong(4956),
"w" : NumberLong(206)
}
}
},
"network" : {
"bytesIn" : NumberLong("1929833164782"), --發送到資料庫的數據總量（bytes）
"bytesOut" : 553137147925, --資料庫發出的數據總量（bytes）
"numRequests" : 2475184328 --發送到資料庫的請求量
},
"opcounters" : {
"insert" : 687531883, --server啟動以來總的insert數據量
"query" : 711010343, --server啟動以來總的query數據量
"update" : 0, --server啟動以來總的update數據量
"delete" : 0, --server啟動以來總的delete數據量
"getmore" : 6484, --server啟動以來調用任何游標的getMore總次數
"command" : 1287537 --server啟動以來執行其他命令的總次數
},
"opcountersRepl" : {
"insert" : 0,
"query" : 0,
"update" : 0,
"delete" : 0,
"getmore" : 0,
"command" : 0
},
"recordStats" : {
"accessesNotInMemory" : 6,
"pageFaultExceptionsThrown" : 5,
"WORKING_COLLECTION" : {
"accessesNotInMemory" : 0,
"pageFaultExceptionsThrown" : 0
},
"admin" : {
"accessesNotInMemory" : 0,
"pageFaultExceptionsThrown" : 0
},
"local" : {
"accessesNotInMemory" : 0,
"pageFaultExceptionsThrown" : 0
},
"mdsp" : {
"accessesNotInMemory" : 6,
"pageFaultExceptionsThrown" : 5
},
"mydb" : {
"accessesNotInMemory" : 0,
"pageFaultExceptionsThrown" : 0
},
"test" : {
"accessesNotInMemory" : 0,
"pageFaultExceptionsThrown" : 0
}
},
"writeBacksQueued" : false,
"mem" : {
"bits" : 64,
"resident" : 43,
"virtual" : 2326,
"supported" : true,
"mapped" : 992,
"mappedWithJournal" : 1984
},
"metrics" : {
"document" : {
"deleted" : NumberLong(0),
"inserted" : NumberLong(10),
"returned" : NumberLong(1067),
"updated" : NumberLong(20)
},
"getLastError" : {
"wtime" : {
"num" : 0,
"totalMillis" : 0
},
"wtimeouts" : NumberLong(0)
},
"operation" : {
"fastmod" : NumberLong(13),
"idhack" : NumberLong(118),
"scanAndOrder" : NumberLong(122)
},
"queryExecutor" : {
"scanned" : NumberLong(10262)
},
"record" : {
"moves" : NumberLong(0)
},
"repl" : {
"apply" : {
"batches" : {
"num" : 0,
"totalMillis" : 0
},
"ops" : NumberLong(0)
},
"buffer" : {
"count" : NumberLong(0),
"maxSizeBytes" : 268435456,
"sizeBytes" : NumberLong(0)
},
"network" : {
"bytes" : NumberLong(0),
"getmores" : {
"num" : 0,
"totalMillis" : 0
},
"ops" : NumberLong(0),
"readersCreated" : NumberLong(0)
},
"oplog" : {
"insert" : {
"num" : 0,
"totalMillis" : 0
},
"insertBytes" : NumberLong(0)
},
"preload" : {
"docs" : {
"num" : 0,
"totalMillis" : 0
},
"indexes" : {
"num" : 0,
"totalMillis" : 0
}
}
},
"ttl" : {
"deletedDocuments" : NumberLong(0),
"passes" : NumberLong(26)
}
},
"ok" : 1
}
❸ 如何使用mongodb資料庫工具
1、基於mongo實現遠程連接
[plain] view plain
mongo -u admin -p admin 192.168.0.197:27017/pagedb
通過mongo實現連接，可以非常靈活的選擇參數選項，參看命令幫助，如下所示：
[plain] view plain
mongo --help
MongoDB shell version: 1.8.3
usage: mongo [options] [db address] [file names (ending in .js)]
db address can be:
foo foo database on local machine
192.169.0.5/foo foo database on 192.168.0.5 machine
192.169.0.5:9999/foo foo database on 192.168.0.5 machine on port 9999
options:
--shell run the shell after executing files
--nodb don't connect to mongod on startup - no 'db address'
arg expected
--quiet be less chatty
--port arg port to connect to
--host arg server to connect to
--eval arg evaluate javascript
-u [ --username ] arg username for authentication
-p [ --password ] arg password for authentication
-h [ --help ] show this usage information
--version show version information
--verbose increase verbosity
--ipv6 enable IPv6 support (disabled by default)
2、基於MongoDB支持的javascript實現遠程連接
當你已經連接到一個遠程的MongoDB資料庫伺服器（例如，通過mongo連接到192.168.0.184），現在想要在這個會話中連接另一個遠程的資料庫伺服器（192.168.0.197），可以執行如下命令：
[plain] view plain
> var x = new Mongo('192.168.0.197:27017')
> var ydb = x.getDB('pagedb');
> use ydb
switched to db ydb
> db
ydb
> ydb.page.findOne()
{
"_id" : ObjectId("4eded6a5bf3bfa0014000003"),
"content" : "巴黎是浪漫的城市，可是...",
"pubdate" : "2006-03-19",
"title" : "巴黎：從布魯塞爾趕到巴黎",
"url" : "http://france.bytravel.cn/Scenery/528/cblsegdbl.html"
}
上述通過MongoDB提供的JavaScript腳本，實現對另一個遠程資料庫伺服器進行連接，操作指定資料庫pagedb的page集合。
如果啟用了安全認證模式，可以在獲取資料庫連接實例時，指定認證賬號，例如：
[plain] view plain
> var x = new Mongo('192.168.0.197:27017')
> var ydb = x.getDB('pagedb', 'shirdrn', '(jkfFS$343$_\=\,.F@3');
> use ydb
switched to db ydb
❹ MongoDB批量操作文檔（bulkWrite） --- 2022-04-03
本章介紹，通過mongo shell,批量操作（bulkWrite）MongoDB文檔數據。這里的批量操作不僅僅是前面章節提到的批量更新文檔，MongoDB批量操作支持同時執行一批寫操作，寫操作包括：插入文檔、更新文檔、刪除文檔。
mongo shell通過db.collection.bulkWrite()函數執行批量操作。
批量操作支持下面寫操作自由組合。
說明：
下面看一個綜合裡面，批量執行一批文檔寫操作。
❺ java怎麼做到使用mongodb的原生命令來執行操作
public class MongoDBJDBC {
public static void main(String[] args) {
try {
// 實例化Mongo對象，連接27017埠
Mongo mongo = new Mongo("localhost", 27017);
// 連接名為yourdb的資料庫，假如資料庫不存在的話，mongodb會自動建立
DB db = mongo.getDB("test");
// Get collection from MongoDB, database named "yourDB"
// 從Mongodb中獲得名為yourColleection的數據集合，如果該數據集合不存在，Mongodb會為其新建立
DBCollection collection = db.getCollection("test1");
// 使用BasicDBObject對象創建一個mongodb的document,並給予賦值。
BasicDBObject document = new BasicDBObject();
//document.put("id", 1001);
//document.put("msg", "hello world mongoDB in Java");
// 將新建立的document保存到collection中去
//collection.insert(document);
// 創建要查詢的document
❻ 在windows下mongodb怎麼執行js腳本
以前並沒有留意用JavaScript管理MongoDB，不過這個還是很有用的功能。特別是可以寫一些定時腳本，定期檢查資料庫，做一些管理任務。
1. mongo shell中可以直接運行JavaScript代碼
比如：
> new Date()
ISODate("2013-12-12T07:37:00.074Z")
> x = new Date();
ISODate("2013-12-12T07:37:05.724Z")
> x.getTime();
1386833825724
> var y = Date();
> y.getTime()
Thu Dec 12 15:37:26.805 TypeError: Object Thu Dec 12 2013 15:37:21 GMT+0800 (CST) has no method 'getTime'
>
如果想獲得epoch以來的毫秒數，必須用new Date()。
而Date()，似乎就只是一個函數，返回一個字元串而已。沒什麼大作用，反而容易混淆人的概念。
b. Date對象提供了getTime()
2. 查詢語句中，可以用$where operator來執行JavaScript函數, 比如：
db.display.find({$and: [{$where: function() {return new Date().getTime(
3. 可以將代碼寫到一個js文件中，然後用mongo命令執行
比如：下面將當前時間和last_active_time欄位的值的差大於300秒的，狀態為offline的document找出來，並顯示。
cursor = db.display.find({$and: [{$where: function() {return new Date().getTime() / 1000 - this.last_active_time > 300}}, {status: "offline"}]})
while (cursor.hasNext()) {
printjson(cursor.next());
}
然後這樣執行：
mongo localhost/mydb test.js
❼ mongodb資料庫批量插入海量數據時為什麼有少部分數據丟失
可以這么排查下。
1.先少批量執行看是否有異常
》確認是否是語法問題
2.把大批量分n批量執行看是否是某一批有問題
》確認是否是操作超時導致
》確認是否是某些特殊數據導致
3.確認是否是某批量裡面的數據有異常導致異常退出沒寫入之後的數據
》確認是否是代碼的嚴密性問題，異常try catch
4.生產環境上只能多輸出日誌來確認問題
5.可以在本地模擬下生產環境
❽ MongoDB是什麼，怎麼用看完你就知道了
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫，是NoSQL類型的資料庫。
（1）MongoDB提出的是文檔、集合的概念，使用BSON（類JSON）作為其數據模型結構，其結構是面向對象的而不是二維表，存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型，使得MongoDB能在生產環境中提供高讀寫的能力，吞吐量較於mysql等SQL資料庫大大增強。
（2）易伸縮，自動故障轉移。易伸縮指的是提供了分片能力，能對數據集進行分片，數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念，MongoDB能檢測主節點是否存活，當失活時能自動提升從節點為主節點，達到故障轉移。
（3）數據模型因為是面向對象的，所以可以表示豐富的、有層級的數據結構，比如博客系統中能把「評論」直接懟到「文章「的文檔中，而不必像myqsl一樣創建三張表來描述這樣的關系。
（1）文檔數據類型
SQL類型的資料庫是正規化的，可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性，所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫，且MongoDB沒有固定的Schema，正因為MongoDB少了一些這樣的約束條件，可以讓數據的存儲數據結構更靈活，存儲速度更加快。
（2）即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力，保留了索引（底層是基於B tree）的能力。這一點汲取了關系型資料庫的優點，相比於同類型的NoSQL redis 並沒有上述的能力。
（3）復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘，目的是可以提供自動故障轉移、擴展讀能力。
（4）速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ，即通過驅動調用寫入時，可以立即得到返回得到成功的結果（即使是報錯），這樣讓寫入的速度更加快，當然會有一定的不安全性，完全依賴網路。
MongoDB提供了Journaling日誌的概念，實際上像mysql的bin-log日誌，當需要插入的時候會先往日誌裡面寫入記錄，再完成實際的數據操作，這樣如果出現停電，進程突然中斷的情況，可以保障數據不會錯誤，可以通過修復功能讀取Journaling日誌進行修復。
（5）數據擴展
MongoDB使用分片技術對數據進行擴展，MongoDB能自動分片、自動轉移分片裡面的數據塊，讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的，而且在啟動時不需對MongoDB使用的內存進行配置，因為其設計哲學是內存管理最好是交給操作系統，缺少內存配置是MongoDB的設計亮點，另外，還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動，使用js shell能使用js直接與MongoDB進行交流，像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據，另外還提供了各種語言的驅動包，方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式，遷移資料庫。
mongoexport和mongoimport，用來導入導出JSON、CSV和TSV數據，數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入，但是在導入前順便還要注意一下，為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具，用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此，可以總結得到，MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單，所以數據極快，而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面，且最好單獨部署，因為是資料庫，所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊，所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句，主要是為了展示使用MongoDB shell的方便性，如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作，資料庫與集合只有在第一次插入文檔時才會被創建，與對數據的動態處理方式是一致的。簡化並加速開發過程，而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建，可以開啟嚴格模式。
以上的命令只是簡單實例，假設如果你之前沒有學習過任何資料庫語法，同時開始學sql查詢語法和MongoDB 查詢語法，你會發現哪一個更簡單呢？如果你使用的是java驅動去操作MongoDB，你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣，只要構建好一個查詢條件對象，便能輕松查詢（接下來會給出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成沒問題，也正因為這樣簡潔，完善的查詢機制，深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情，簡單的引用，簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用，下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作，可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的，如果查詢結果較多，恰好無法全部放進第一伺服器中，將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間，不會等待伺服器的響應，驅動會假設寫入是成功的，實際是使用客戶端生成對象id，但是該行為可以通過配置配置，可以通過安全模式開啟，安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔，在鍵值中有指向不定類型值的鍵，MongoDB擁有即時查詢，但不支持聯結操作，簡單的鍵值存儲只能根據單個鍵來獲取值，不支持事務，但支持多種原子更新操作。
如讀寫比是怎樣的，需要何種查詢，數據是如何更新的，會不會存在什麼並發問題，數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則，比如：
資料庫是集合的邏輯與物理分組，MongoDB沒有提供創建資料庫的語法，只有在插入集合時，資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件，所有集合、索引和資料庫的其他元數據都保存在這些文件中，查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器，集合的名稱可以包含數字、字母或 . 符號，但必須以字母或數字開頭，完全。
限定集合名不能超過128個字元，實際上 . 符號在集合中很有用，能提供某種虛擬命名空間，這是一種組織上的原則，和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值，在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式，所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內，因為這樣可以防止創建難看的數據類型，且小文檔可以提升性能，批量插入文檔理想數字范圍是10~200，大小不能超過16MB。
（1）索引能顯著減少獲取文檔的所需工作量，具體的對比可以通過 .explain()方法進行對比
（2）解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢，當沒有最適合索引時，會先不同的使用各個索引進行查詢，最終選出一個最優索引做查詢
（3）如果有一個a-b的復合索引，那麼僅針對a的索引是冗餘的
（4）復合索引里的鍵的順序是很重要的
（1）單鍵索引
（2）復合索引
（3）唯一性索引
（4）稀疏索引
如索引的欄位會出現null的值，或是大量文檔都不包含被索引的鍵。
如果數據集很大時，構建索引將會花費很長的時間，且會影響程序性能，可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時，可使用
對索引進行壓縮，重建。
（1）查閱慢查詢日誌
（2）分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的，不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性，與副本集的強壯性，監控容易性
提供主從復制能力，熱備能力，故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的，先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來，添加到主節點的oplog里。與此同時，所有從結點復制oplog。首先，查看自己oplog里最後一條的時間戳；其次，查詢主節點oplog里所有大於此時間戳的條目;最後，把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況，從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員，可以通過rs.status()看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述，但是有一個特殊場景，如果從節點和仲裁節點都被殺了，只剩下主節點，他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫，那麼數據不能算提交，當該主節點變成從節點時，便會觸發回滾，那些沒寫到從庫的數據將會被刪除，可以通過rollback子目錄中的BSON文件恢復回滾的內容。
（1）使用單節點鏈接
只能鏈接到主節點，如果鏈接到從節點的話，會被拒絕寫入操作，但是如果沒有使用安全模式，因為mongo的fire and forget 特性，會把拒絕寫入的異常給吃掉。
（2）使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移，但是當副本集進行新的選舉時，還是會出現故障，如果不使用安全模式，依舊會出現寫不進去，但現實成功的情況。
分片是資料庫切分的一個概念實現，這里也是簡單總結為什麼要使用分片以及分片的原理，操作。
當數據量過大，索引和工作數據集佔用的內存就會越來越多，所以需要通過分片負載來解決這個問題
（1）分片組件
（2）分片的核心操作
分片一個集合：分片是根據一個屬性的范圍進行劃分的，MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊：是位於一個分片中的一段連續的分片鍵范圍，可以理解為若干個塊組成分片，分片組成MongoDB的全部數據
（3）拆分與遷移
塊的拆分：初始化時只有一個塊，達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二，這樣就有了兩個塊，每個塊都有相同數量的文檔。
遷移：當分片中的數據大小不一時會產生遷移的動作，比如分片A的數據比較多，會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡，是由名為均衡器的軟體進程管理的，任務是確保數據在各個分片中保持均勻分布，當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時，均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
（1）分片查詢類型
（2）索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引，其他地方不行，因為這需要在分片間進行通信，實施起來很復雜。
當創建分片時，會根據分片鍵創建一個索引。
（1）分片鍵是不可修改的、分片鍵的選擇非常重要
（2）低效的分片鍵
（3）理想的分片鍵
（1）部署拓撲
根據不同的數據中心劃分
這里寫圖片描述
（2）最低要求
（3）配置的注意事項
需要估計集群大小，可使用以下命令對現有集合進行分片處理
（4）備份分片集群
備份分片時需要停止均衡器
（1）部署架構
使用64位機器、32位機器會制約mongodb的內存，使其最大值為1.5GB
（2）cpu
mongodb 只有當索引和工作集都可放入內存時，才會遇到CPU瓶頸，CPU在mongodb使用中的作用是用來檢索數據，如果看到CPU使用飽和的情況，可以通過查詢慢查詢日誌，排查是不是查詢的問題導致的，如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU，但是mongodb寫入時間一次只用到一個核，如果有頻繁的寫入行為，可以通過分片來解決這個問題
（3）內存
大內存是mongodb的保障，如果工作集大小超過內存，將會導致性能下降，因為這將會增加數據載入入內存的動作
（4）硬碟
mongodb默認每60s會與磁碟強制同步一次，稱為後台刷新，會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存，高速磁碟將會減少同步的時間
（5）文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
（6）文件描述符
linux 默認文件描述符是1024，需要大額度的提升這個額度
（7）時鍾
mongodb各個節點伺服器之間使用ntp伺服器
（1）綁定IP
啟動時使用 - -bind_ip 命令
（2）身份驗證
啟動時使用 - -auth 命令
（3）副本集身份認證
使用keyFile，注意keyFile文件的許可權必須是600，不然會啟動不起來
（1）拓撲結構
搭建副本集至少需要兩個節點，其中仲裁結點不需要有自己的伺服器
（2）Journaling日誌
寫數據時會先寫入日誌，而此時的數據也不是直接寫入硬碟，而是寫入內存
但是Journaling日誌會消耗內存，所以可以在主庫上面關閉，在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時，可以通過驅動確保Journaling插入後再反饋，但是會非常影響性能。
logpath 選項指定日誌存儲地址
-vvvvv 選項（v越多，輸出越詳細）
db.runCommand({logrotare:1}) 開啟滾動日誌
（1）serverStatus
這里寫圖片描述
（2）top
（3）db.currentOp()
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
（1）mongomp
把資料庫內容導出成BSON文件，而mongorestore能讀取並還原這些文件
（2）mongorestore
把導出的BSON文件還原到資料庫
（3）備份原始數據文件
可以這么做，但是，操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 請求解鎖操作，但是資料庫不會立刻解鎖，需要使用db.currentOp()驗證。
（1）修復
mongd --repair 修復所有資料庫
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引
（2）壓緊
壓緊，會重寫數據文件，並重建集合的全部索引，需要停機或者在從庫上面運行,如果需要在主庫上面運行，需要添加force參數 保證加寫鎖。
（1）監控磁碟狀態
（2）為提升性能檢查索引和查詢
總的來說，掃描盡可能少的文檔。
保證沒有冗餘的索引，冗餘的索引會佔用磁碟空間、消耗更多的內存，在每次寫入時還需做更多工作
（3）添加內存
dataSize 數據大小 和 indexSize 索引大小，如果兩者的和大於內存，那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上，就會因磁碟碎片而影響性能，需要壓縮。
❾ MongoDB怎樣批量執行命令
沒有這種操作，因為MongoDB的底層就不支持這種操作。
從MongoDB的oplog模式中可以看出，MongoDB的每次op都是獨立執行的最小單元，因此，不會存在多個op組合成一個執行的情況。因此在各種API中都不會存在這種批量插入的操作。