❶ MongoDB 是什麼看完你就知道了
點擊上方 藍色字體 ，選擇「置頂公眾號」
優質文章，第一時間送達
鏈接 | blog.csdn.net/hayre/article/details/80628431
1.MongoDB是什麼？用一句話總結
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫，是NoSQL類型的資料庫。
（1）MongoDB提出的是文檔、集合的概念，使用BSON（類JSON）作為其數據模型結構，其結構是面向對象的而不是二維表，存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型，使得MongoDB能在生產環境中提供高讀寫的能力，吞吐量較於mysql等SQL資料庫大大增強。
（2）易伸縮，自動故障轉移。易伸縮指的是提供了分片能力，能對數據集進行分片，數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念，MongoDB能檢測主節點是否存活，當失活時能自動提升從節點為主節點，達到故障轉移。
（3）數據模型因為是面向對象的，所以可以表示豐富的、有層級的數據結構，比如博客系統中能把「評論」直接懟到「文章「的文檔中，而不必像myqsl一樣創建三張表來描述這樣的關系。
3.主要特性
（1）文檔數據類型
SQL類型的資料庫是正規化的，可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性，所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫，且MongoDB沒有固定的Schema，正因為MongoDB少了一些這樣的約束條件，可以讓數據的存儲數據結構更靈活，存儲速度更加快。 （2）即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力，保留了索引（底層是基於B tree）的能力。這一點汲取了關系型資料庫的優點，相比於同類型的NoSQL redis 並沒有上述的能力。 （3）復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘，目的是可以提供自動故障轉移、擴展讀能力。 （4）速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ，即通過驅動調用寫入時，可以立即得到返回得到成功的結果（即使是報錯），這樣讓寫入的速度更加快，當然會有一定的不安全性，完全依賴網路。
MongoDB提供了Journaling日誌的概念，實際上像mysql的bin-log日誌，當需要插入的時候會先往日誌裡面寫入記錄，再完成實際的數據操作，這樣如果出現停電，進程突然中斷的情況，可以保障數據不會錯誤，可以通過修復功能讀取Journaling日誌進行修復。
（5）數據擴展
MongoDB使用分片技術對數據進行擴展，MongoDB能自動分片、自動轉移分片裡面的數據塊，讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的，而且在啟動時不需對MongoDB使用的內存進行配置，因為其設計哲學是內存管理最好是交給操作系統，缺少內存配置是MongoDB的設計亮點，另外，還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動，使用js shell能使用js直接與MongoDB進行交流，像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據，另外還提供了各種語言的驅動包，方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式，遷移資料庫。
mongoexport和mongoimport，用來導入導出JSON、CSV和TSV數據，數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入，但是在導入前順便還要注意一下，為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具，用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此，可以總結得到，MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單，所以數據極快，而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面，且最好單獨部署，因為是資料庫，所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊，所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句，主要是為了展示使用MongoDB shell的方便性，如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作，資料庫與集合只有在第一次插入文檔時才會被創建，與對數據的動態處理方式是一致的。簡化並加速開發過程，而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建，可以開啟嚴格模式。
以上的命令只是簡單實例，假設如果你之前沒有學習過任何資料庫語法，同時開始學sql查詢語法和MongoDB 查詢語法，你會發現哪一個更簡單呢？如果你使用的是java驅動去操作MongoDB，你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣，只要構建好一個查詢條件對象，便能輕松查詢（接下來會給出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成沒問題，也正因為這樣簡潔，完善的查詢機制，深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情，簡單的引用，簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用，下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作，可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的，如果查詢結果較多，恰好無法全部放進第一伺服器中，將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間，不會等待伺服器的響應，驅動會假設寫入是成功的，實際是使用客戶端生成對象id，但是該行為可以通過配置配置，可以通過安全模式開啟，安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔，在鍵值中有指向不定類型值的鍵，MongoDB擁有即時查詢，但不支持聯結操作，簡單的鍵值存儲只能根據單個鍵來獲取值，不支持事務，但支持多種原子更新操作。
如讀寫比是怎樣的，需要何種查詢，數據是如何更新的，會不會存在什麼並發問題，數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則，比如：
資料庫是集合的邏輯與物理分組，MongoDB沒有提供創建資料庫的語法，只有在插入集合時，資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件，所有集合、索引和資料庫的其他元數據都保存在這些文件中，查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器，集合的名稱可以包含數字、字母或 . 符號，但必須以字母或數字開頭，完全。
限定集合名不能超過128個字元，實際上 . 符號在集合中很有用，能提供某種虛擬命名空間，這是一種組織上的原則，和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值，在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式，所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內，因為這樣可以防止創建難看的數據類型，且小文檔可以提升性能，批量插入文檔理想數字范圍是10~200，大小不能超過16MB。
（2）解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢，當沒有最適合索引時，會先不同的使用各個索引進行查詢，最終選出一個最優索引做查詢
（3）如果有一個a-b的復合索引，那麼僅針對a的索引是冗餘的
（4）復合索引里的鍵的順序是很重要的
（2）復合索引
（3）唯一性索引
（4）稀疏索引
如索引的欄位會出現的值，或是大量文檔都不包含被索引的鍵。
如果數據集很大時，構建索引將會花費很長的時間，且會影響程序性能，可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時，可使用
對索引進行壓縮，重建。
（1）查閱慢查詢日誌
（2）分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的，不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性，與副本集的強壯性，監控容易性
提供主從復制能力，熱備能力，故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的，先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來，添加到主節點的oplog里。與此同時，所有從結點復制oplog。首先，查看自己oplog里最後一條的時間戳；其次，查詢主節點oplog里所有大於此時間戳的條目;最後，把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況，從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員，可以通過rs.status看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述，但是有一個特殊場景，如果從節點和仲裁節點都被殺了，只剩下主節點，他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫，那麼數據不能算提交，當該主節點變成從節點時，便會觸發回滾，那些沒寫到從庫的數據將會被刪除，可以通過rollback子目錄中的BSON文件恢復回滾的內容。
只能鏈接到主節點，如果鏈接到從節點的話，會被拒絕寫入操作，但是如果沒有使用安全模式，因為mongo的fire and forget 特性，會把拒絕寫入的異常給吃掉。
（2）使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移，但是當副本集進行新的選舉時，還是會出現故障，如果不使用安全模式，依舊會出現寫不進去，但現實成功的情況。
分片是資料庫切分的一個概念實現，這里也是簡單總結為什麼要使用分片以及分片的原理，操作。
當數據量過大，索引和工作數據集佔用的內存就會越來越多，所以需要通過分片負載來解決這個問題
（2）分片的核心操作
分片一個集合：分片是根據一個屬性的范圍進行劃分的，MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊：是位於一個分片中的一段連續的分片鍵范圍，可以理解為若干個塊組成分片，分片組成MongoDB的全部數據
（3）拆分與遷移
塊的拆分：初始化時只有一個塊，達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二，這樣就有了兩個塊，每個塊都有相同數量的文檔。
遷移：當分片中的數據大小不一時會產生遷移的動作，比如分片A的數據比較多，會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡，是由名為均衡器的軟體進程管理的，任務是確保數據在各個分片中保持均勻分布，當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時，均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
（2）索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引，其他地方不行，因為這需要在分片間進行通信，實施起來很復雜。
當創建分片時，會根據分片鍵創建一個索引。
（2）低效的分片鍵
（3）理想的分片鍵
根據不同的數據中心劃分
（2）最低要求
（3）配置的注意事項
需要估計集群大小，可使用以下命令對現有集合進行分片處理
（4）備份分片集群
備份分片時需要停止均衡器
使用64位機器、32位機器會制約mongodb的內存，使其最大值為1.5GB
（2）cpu mongodb 只有當索引和工作集都可放入內存時，才會遇到CPU瓶頸，CPU在mongodb使用中的作用是用來檢索數據，如果看到CPU使用飽和的情況，可以通過查詢慢查詢日誌，排查是不是查詢的問題導致的，如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU，但是mongodb寫入時間一次只用到一個核，如果有頻繁的寫入行為，可以通過分片來解決這個問題 （3）內存
大內存是mongodb的保障，如果工作集大小超過內存，將會導致性能下降，因為這將會增加數據載入入內存的動作
（4）硬碟
mongodb默認每60s會與磁碟強制同步一次，稱為後台刷新，會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存，高速磁碟將會減少同步的時間
（5）文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
（6）文件描述符
linux 默認文件描述符是1024，需要大額度的提升這個額度
（7）時鍾
mongodb各個節點伺服器之間使用ntp伺服器
啟動時使用 - -bind_ip 命令
（2）身份驗證
啟動時使用 - -auth 命令
（3）副本集身份認證
使用keyFile，注意keyFile文件的許可權必須是600，不然會啟動不起來
搭建副本集至少需要兩個節點，其中仲裁結點不需要有自己的伺服器
（2）Journaling日誌 寫數據時會先寫入日誌，而此時的數據也不是直接寫入硬碟，而是寫入內存
但是Journaling日誌會消耗內存，所以可以在主庫上面關閉，在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時，可以通過驅動確保Journaling插入後再反饋，但是會非常影響性能。
-vvvvv 選項（v越多，輸出越詳細）
db.runCommand({logrotare:1}) 開啟滾動日誌
（2）top
（3）db.currentOp
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
把資料庫內容導出成BSON文件，而mongorestore能讀取並還原這些文件
（2）mongorestore
把導出的BSON文件還原到資料庫
（3）備份原始數據文件 可以這么做，但是，操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true}) db.$cmd.sys.unlock.findOne 請求解鎖操作，但是資料庫不會立刻解鎖，需要使用 db.currentOp 驗證。
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引 （2）壓緊
壓緊，會重寫數據文件，並重建集合的全部索引，需要停機或者在從庫上面運行,如果需要在主庫上面運行，需要添加force參數 保證加寫鎖。
（2）為提升性能檢查索引和查詢
總的來說，掃描盡可能少的文檔。
保證沒有冗餘的索引，冗餘的索引會佔用磁碟空間、消耗更多的內存，在每次寫入時還需做更多工作
（3）添加內存
dataSize 數據大小 和 indexSize 索引大小，如果兩者的和大於內存，那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上，就會因磁碟碎片而影響性能，需要壓縮。
❷ 如何壓縮mongodb文本欄位
有可能你添加數據的速度比存儲價格下降的速度來得更快，你花費在存儲上的凈支出實際上正在上升。你的內部成本也可能需要包括管理等因素，因此它們的價格可能會比商品市場價格高出很多。換句話說，你仍然需要尋求新的方式以減少您對存儲的需求。
磁碟存儲的大小是一個需要考慮的因素，當然還有其他需要考慮的。磁碟I/ O延遲是由在旋轉存儲上尋道時間為主導。通過降低數據的大小，用更少的磁碟尋道檢索一定量的數據是必要的，這樣磁碟I / O吞吐量將得到改善。對於RAM而言，一些壓縮格式可以不用解壓在內存中的數據。在這樣的情況下，更多的數據可以放在RAM中，從而提高了性能。
❸ MongoDB 5.0新特性概覽
MongoDB 5.0標志著一個新的發布周期的到來，以更快地交付新特性給到用戶。版本化API與在線重新分片相結合，使用戶不必擔心未來的資料庫升級以及業務變化問題；本地原生時間序列數據平台也使MongoDB能支持更廣泛的工作負載和業務場景；新的MongoDB Shell能夠提升用戶體驗等均為MongoDB 5.0的功能。本文主要介紹MongoDB 5.0的新特性。
MongoDB 5.0通過原生支持整個時間序列數據的生命周期（從採集、存儲、查詢、實時分析和可視化，到在線歸檔或隨著數據老化自動失效），使構建和運行時間序列應用程序的速度更快、成本更低。隨著MongoDB 5.0的發布，MongoDB擴展了通用的應用數據平台，使開發能夠更容易地處理時間序列數據，進一步擴展其在物聯網、金融分析、物流等方面的應用場景。
MongoDB的時間序列集合以高度優化和壓縮的格式自動存儲時間序列數據，減少了存儲大小和I/O，以實現更好的性能和更大的規模。同時也縮短了開發周期，使您能夠快速建立一個針對時間序列應用的性能和分析需求而調優的模型。
創建時間序列數據集合的命令示例：
MongoDB可以無縫地調整採集頻率，並根據動態生成的時間分區自動處理無序的測量值。最新發布的MongoDB Connector for Apache Kafka實現了在本地支持時間序列，您可以直接從Kafka主題消息中自動創建時間序列集合，使您在收集數據的同時根據需要對數據進行處理和聚合，然後寫入到MongoDB的時間序列集合。
時間序列集合自動創建一個按時間排序的數據聚集索引，降低查詢數據的延遲。MongoDB查詢API還擴展了窗口函數，您可以運行分析性查詢（例如移動平均數和累積總和）。在關系型資料庫系統中，這些通常被稱為SQL分析函數，並支持以行為單位定義的窗口（即三行移動平均線）。MongoDB更進一步，還增加了指數移動平均線、導數和積分等強大的時間序列函數，支持您以時間為單位定義窗口（例如15分鍾的移動平均線）。窗口函數可用於查詢MongoDB的時間序列和常規集合，為多種應用類型提供了新的分析方式。另外，MongoDB 5.0也提供了新的時間運算符，包括$dateAdd、$dateSubstract、$dateDiff和$dateTrunc，使您可以通過自定義的時間窗口對數據進行匯總和查詢。
您可以將MongoDB的時間序列數據與企業的其他數據相結合。時間序列集合可以與同一個資料庫中的常規MongoDB集合放在一起，您不必選擇一個專門的時間序列資料庫（它不能為任何其他類型的應用提供服務），也不需要復雜的集成來混合時間序列和其他數據。MongoDB通過提供一個統一的平台，讓您建立高性能和高效的時間序列應用的同時，也為其他用例或工作負載提供支持，從而消除了整合和運行多個不同資料庫的成本和復雜性。
從MongoDB 5.0開始， Write Concern 默認級別為majority，僅當寫入操作被應用到Primary節點（主節點）且被持久化到大多數副本節點的日誌中的時候，才會提交並返回成功，「開箱即用」地提供了更強的數據可靠性保障。
說明 Write Concern 是完全可調的，您可以自定義配置 Write Concern ，以平衡應用程序對資料庫性能和數據持久性的要求。
默認情況下，一個客戶端連接對應後端MongoDB伺服器上的一個線程（ net.serviceExecutor 配置為synchronous）。創建、切換和銷毀線程都是消耗較大的操作，當連接數過多時，線程會佔用MongoDB伺服器較多的資源。
連接數較多或創建連接失控的情況稱為「連接風暴」，產生該情況的原因可能是多方面的，且經常是在服務已經受到影響的情況下發生。
針對這些情況，MongoDB 5.0採取了以下措施：
以上措施，加上之前版本在mongos查詢路由層的改進，進一步提升了MongoDB承受高並發負載的能力。
長時間運行的快照查詢（Long-Running Snapshot Queries）增加了應用程序的通用性和彈性。您可以通過該功能運行默認時間為5分鍾的查詢（或將其調整為自定義持續時間），同時保持與實時事務性資料庫一致的快照隔離，也可以在Secondary節點（從節點）上進行快照查詢，從而在單個集群中運行不同的工作負載，並將其擴展到不同的分片上。
MongoDB通過底層存儲引擎中一個名為Durable history的項目實現了長期運行的快照查詢，該項目早在MongoDB 4.4中就已實現。Durable history將存儲自查詢開始以來所有變化的欄位值的快照。通過使用Durable history，查詢可以保持快照隔離，即使在數據發生變化的情況下，Durable history也有助於降低存儲引擎的緩存壓力，使得業務可以在高寫入負載的場景下實現更高的查詢吞吐量。
為了提供更好的用戶體驗，MongoDB 5.0從頭開始重新設計了MongoDB Shell（mongosh），以提供一個更現代化的命令行體驗，以及增強可用性的功能和強大的腳本環境。新版MongoDB Shell已經成為MongoDB平台的默認shell。新版MongoDB Shell引入了語法高亮、智能自動完成、上下文幫助和有用的錯誤信息，為您創造一個直觀、互動的體驗。
隨著新的PyMongoArrow API的發布，您可以在MongoDB上使用Python運行復雜的分析和機器學習。PyMongoArrow可以快速將簡單的MongoDB查詢結果轉換為流行的數據格式（例如Pandas數據框架和NumPy數組），幫助您簡化數據科學工作流程。
Schema驗證（模式驗證）是對MongoDB進行數據應用管理控制的一種方式。MongoDB 5.0中，模式驗證變得更加簡單和友好，當操作驗證失敗時都會產生描述性的錯誤信息，幫助您了解不符合集合驗證器的驗證規則的文檔及原因，以快速識別和糾正影響驗證規則的錯誤代碼。
MongoDB 5.0支持將正在進行中的索引創建任務在節點重新啟動後自動會恢復至原來的位置，減少計劃中維護動作對業務的影響。例如：重新啟動或升級資料庫節點時，您不需要擔心當前正在進行的大集合索引創建任務失效。
由於MongoDB支持很多版本和平台，每個發布版本都需在20多個MongoDB支持的平台上進行驗證，驗證工作量大，降低了MongoDB新功能的交付速度，所以從MongoDB 5.0開始，MongoDB發布的版本將分為Marjor Release（大版本）和Rapid Releases（快速發布版本），其中Rapid Releases作為開發版本提供下載和測試體驗，但不建議用在生產環境。
❹ 資料庫mongoDB怎麼安裝 為什麼我下載的解壓縮後裡面沒有bin目錄解壓縮後再怎麼辦
沒有bin目錄那有mongo.exe等這些exe程序文件嗎？一般都是在bin目錄下的，沒遇到過解壓後沒有bin目錄的
注意:
1. MongoDB 2.6.4 Linux 版要求 glibc 必須是 2.5 以上，所以需要先確認操作系統的 glibc 的版本。
2. 在 32 位平台 MongoDB 不允許資料庫文件（累計總和）超過 2G，而 64 位平台沒有這個限制。
一)下載MongoDB
下載Windows 32-bit版本並解壓縮，程序文件都在bin目錄中，其它兩個目錄分別是C++調用是的頭文件和庫文件。bin目錄中包含如下幾個程序：
●bsonmp: 將 bson 格式的文件轉儲為 json 格式的數據
●mongo: 客戶端命令行工具，其實也是一個 js 解釋器，支持 js 語法
●mongod: 資料庫服務端，每個實例啟動一個進程，可以 fork 為後台運行
●mongomp/ mongorestore: 資料庫備份和恢復工具
●mongoexport/ mongoimport: 數據導出和導入工具
●mongofiles: GridFS 管理工具，可實現二制文件的存取
●mongos: 分片路由，如果使用了 sharding 功能，則應用程序連接的是 mongos 而不是mongod
●mongosniff: 這一工具的作用類似於 tcpmp，不同的是他只監控 MongoDB 相關的包請求，並且是以指定的可讀性的形式輸出
●mongostat: 實時性能監控工具
二) 設置MongoDB工作目錄
將其解壓到 c:\，再重命名為mongo，路徑為c:\mongo
三） 設置數據文件路徑
在c:\mongo裡面新建logs和data文件夾
在c:\mongo\logs裡面新建mongodb.log文件，建立日誌文件
在c:\mongo\data裡面新建文件夾db，建立數據存放目錄
四)啟動MongoDB服務
打開 cmd，輸入命令：c:\mongo\bin\mongod.exe --dbpath=c:\mongo\data\db
正常運行顯示以下信息：
Mongdb默認的監聽埠為27017。