filecoin使用ceph修改源碼

A. cephfs-top嘗鮮體驗

根據ceph 16版本的changelog，16版本提供了cephfs-top文件系統監控工具。剛好手頭最近有個16版本的集群，便體驗一下。

文件系統客戶端周期性向元數據服務發送各類監控指標（metrics），這部分數據由元數據服務路由到mds為rank 0的節點 。
元數據伺服器（多活部署）同樣會將自身的指標數據發送至rank 0節點。並由rank 0匯集之後發送給Ceph mgr服務。

工具的使用者可以看到兩類和文件系統相關的數據：
1、全局數據。窺探文件系統整體情況，比如客戶端延遲。
2、每個MDS服務的數據。比如每個MDS擁有的子樹（但是實際體驗沒看到）。

ceph-mgr作為管理組件，具有集成插件的能力。stats負責統計插件。使用前開啟stats插件

由stats插件提供的文件系統性能統計命令

（註：方括弧代表可選）

不加mds_rank查看到的是整體文件系統監控指標。利用json形式查看。

輸出如下：

嘗試之後發現展示的信息還是不夠直觀。另外，MDS的統計信息都是空的。

其中屬於 客戶端 幾個主要的參數：

幾個延遲是總延遲，除以操作量才是平均延遲。

cephfs-top是類似top的形式，依賴組件是mgr中的stats插件。使用python語言實現，展示主要是客戶端的統計情況。

cephfs-top源碼中，獲取數據實現部分。

創建client.fstop用戶，該用戶為cephfs-top工具默認使用的用戶

安裝cephfs-top工具

如果出現 「RADOS permission denied」的錯誤。使用ceph auth get命令獲得fstop的keyring至本地ceph默認配置目錄。

運行監控命令

選項 -d 可以支持0.5s以上的展示頻率。

可展示信息：
1、客戶端數量，統計FUSE、內核、libcephfs使用者。
2、客戶端id；
3、客戶端對應cephfs掛載目錄；
4、客戶端本地目錄，IP地址；
5、chit cap的命中率。
6、rlat 讀操作總延遲（單位s）
7、wlat 寫操作總延遲（單位s）。
8、mlat 元數據操作總延遲（單位s）。
9、dlease dentry lease即客戶端dentry可用率。
10、oicaps 該客戶端持有caps的數量。
11、oinodes 該客戶端打開文件持有inode的數量。

在統計插件stats和cephfs-top出現前，ceph支持到各個組件所在節點通過命令查看性能統計。

比如客戶端的延遲只能登陸到各個掛載節點查看。MDS的情況也只能在對應的節點通過ceph daemon方式查看。現在做了部分信息的匯總，對於運維和性能優化工作而言非常方便。

但是，統計的信息覆蓋面還比較窄，組件的統計信息細節沒有完全展示，如果要查看某個客戶端或者MDS的統計信息，還是需要到各個節點上查看。cephfs-top還有可完善的空間。

B. FileCoin: 有用的工作量證明

有用的工作量證明（Proof of Useful Work）是由著名的去中心化存儲項目 FileCoin 在它的白皮書里提出來的一個概念。工作量證明，Proof of Work，POW 是實現區塊鏈的一個重要共識方式，FileCoin 要實現一個基於區塊鏈的存儲平台。所以它也要做共識，它選擇的就是工作量證明共識。

首先我們來解釋一下常規的工作量證明。它是區塊鏈實現共識的一種方式。是比特幣採用的方式，所以，工作量證明就是俗稱的「挖礦」。比特幣做為一個去中心化的點對點交易系統，要在不同的節點上維護一個共同的完全相同的帳本，來記錄所有的交易，而且確保交易不會重復，不會一筆錢多花，就需要一個維護這個賬本一致性的規則。大家一起遵守這個規則，就是共識。區塊鏈常用的方法是，把這個賬本分成很多頁，每個頁就是一個區塊。每個區塊由一個節點來記賬，然後分發給其他節點復制，這樣所有節點上的賬本都是一樣的。但是每個區塊都由哪個節點來記錄，就需要一個大家都能遵守的規則。比特幣採用的方法，是讓所有的節點做一道簡單的數學題，題目很簡單，但是計算量很大，一般要10分鍾左右才能做出答案來。得到答案雖然很費時間，但是驗證答案是否正確很容易。然後所有的節點同時做題，第一個做出來的節點，就得到下一個區塊的記賬權。因為每個區塊都只有唯一一個最早做出題的節點，所以，每個區塊的記賬權是唯一的，而且也是很容易被其他節點驗證的。節點一旦驗證到其他節點得到了區塊記賬權，就必須復制區塊，加到本地區塊鏈中，同時開始下一個區塊記賬權的競爭。通過這種方式，比特幣就能確保所有節點的區塊鏈是一致的。

節點通過大量計算競爭區塊記賬權的的過程，就是工作量證明。所以，工作量證明系統（或者說協議、函數），是一種應對拒絕服務攻擊和其他服務濫用的經濟對策。它要求發起者進行一定量的運算，也就意味著需要消耗計算機一定的時間。這個概念由 Cynthia Dwork 和 Moni Naor 1993 年在學術論文中首次提出。而工作量證明（POW）這個名詞，則是在 1999 年 Markus Jakobsson 和 Ari Juels 的文章中才被真正提出。

實現區塊鏈共識的方式還有很多，如POS，DPOS，POA，PBFT等等，但是工作量證明是唯一被時間驗證過（11年）的在公鏈上運行的區塊鏈共識機制。

工作量證明存在一個什麼樣的問題呢？還是用比特幣為例。比特幣節點為了獲取出塊權做得那個數學題，叫哈希運算。計算量非常大，每一台參與比特幣挖礦的礦機都要時刻進行這個計算，耗費大量的電力。這個計算不像其他的如大數據處理的計算，可以產生一些價值，它的唯一目的，就是競爭出一個節點，成為下一區塊的出塊者。目前比特幣每年消耗電量約25.5億瓦，這相當於全球電量的0.5%，是愛爾蘭一年的耗電量。反對POW的人紛紛指責挖礦將電力資源浪費在虛無縹緲的數字貨幣上，還稱之為自由主義的「泔水」。

但是，認為POW是浪費的電的人不知道，正是能源和算力打造了比特幣安全不可攻破的體系。

一張100元的現金不只是你我認為他值100，而是整個社會群體都認為他值100，價值就是來自於共識。比特幣是社區行為，來自不同國家的人聚集到社區，用互聯網來建立秩序，它的意義也是來自於群體共識，只要大家都相信比特幣有價值，只共識存在，那麼他就有價值，和法幣一模一樣。所以產生價值認同並不一定需要國家來驅動，比特幣改革了一種傳遞信任的載體和媒介，千百年來，人類社會通過多少流血戰爭建立的政權和共識，現在兵不血刃，只是耗費些電力就實現，豈不是更先進。

總結而言，要想設計一個去中心化而且安全的數字貨幣，能源和算力是必要的代價。工作量證明是以去中心化形式構建安全產權認證系統的唯一方案。所以認為POW是浪費的電的人不知道，正是能源和算力打造了比特幣安全不可攻破的體系。現在比特幣全網算力已經達到一個非常恐怖的地步，任何人想要發動51%算力攻擊已經是不可能的事情了，POW演算法使比特幣系統牢不可破。

為締造價值而產生的消耗不叫浪費。

但是，如此多的算力，是否可以用來創造更多的價值呢？用 FileCoin 的話說，工作量證明，還有沒有其他用途呢？

FileCoin 是分布式存儲行業的明星項目。他的開發團隊 Protocol Lab 就是開發 IPFS 協議的團隊，以至於很多人都分不清FileCoin 和 IPFS 的區別。可以說是2017年 FileCoin 的1CO，把這個行業推向巔峰，也引出了一系列的同類型項目。本文無意於贊譽或者貶低這個項目，只想結合自己從事這個行業的經驗，表達一些自己的觀點，盡量做到客觀公正。希望對從事這個行業的人有一些啟發。

FileCoin 在白皮書中提出要實現一個有用的工作量證明，實際上就是認可了，要打造一個安全不可攻破的區塊鏈，就必須消耗工作量。但是，他們不希望為這個工作量做出的計算完全被浪費，所以想把這個工作量利用起來。所以，他們想到的方法是，在工作量證明裡加入存儲空間的使用率。這樣，所有的節點為了形成共識，就必須提供存儲空間來存文件。這個存儲空間就可以存用戶數據，就是有用的。

那我們來看一下FileCoin是怎樣實現這種有用的工作量證明共識的。

Filecoin採用的共識機制並不是簡單的工作量證明，而是一種叫做預期共識（Expected Consensus，簡稱 EC）的機制。和其他主流共識機制目標一樣，讓礦工爭奪某一個高度唯一的出塊權而獲得獎勵。這個獲得出塊權的礦工叫做 Leader。在每一輪的出塊爭奪中，為了保證賬本的可靠性，都有一個唯一的 leader 來進行記賬。

也就是說，共識的核心就是選擇誰來當 Leader。選 Leader 的方式一般有兩種，互動式或者非互動式。互動式是要礦工之間互相投票的。比如 PBFT 就是互動式的，幾個參與選舉的人通過互發信息，得到多數票（ 超過 2/3 ）的人就是 Leader。預期共識採用了非互動式的方式來選舉 Leader。參與的各方根本不給彼此發消息，而是每個節點各自獨立私下進行運算。最後某個節點說，我贏得了選舉，然後提供一個證明，其他人可以很容易就驗證，他確實贏得了選舉。這個驗證方法就是零知識證明。

預期共識機制會為區塊鏈網路預設一個出塊的期望值。比如每1個紀元（epoch）生成1個區塊（block），但也有一個紀元可能出現空塊或多個區塊的情況。所以在 Filecoin 中，每個高度不是一個區塊，而是一個區塊集，叫做 TipSet，這個 TipSet 中可能包含了多個區塊。所以實際上 Filecoin 是 TipSet 鏈。預期共識無法保證每一輪只選舉出一個 Leader，所以會出現一輪中有多個 Leader 的可能，這樣鏈式結構就變成了DAG的網狀結構。所以 FileCoin 還會對 block 賦權重，實現有效收斂。

FileCoin 採用的 EC 共識有一個好處。對於傳統的 POS 共識機制來說，有一個重大問題就是無法控制分叉。也就是說，由於挖礦成本低，參與者可以同時挖多個鏈獲取利益。而預期共識對這一點做了設計，那就是通過權重和抵押機制來促使礦工選擇一條最好的鏈，對同時挖多個鏈的礦工進行懲罰，這樣可以非常快速地促進收斂。這說明 POW 和 POS 共同使用會是一種好的方式。

每一個礦工獲得出塊的可能與其當前有效存儲量佔全網總存儲量正相關。這種期望共識機制其實是更像是 POS 權益證明，只是它將POS里邊的權益（Staking）換成了有效存儲佔比。但是礦工的有效存儲從何而來呢？是通過存儲用戶數據得來。如何證明礦工存儲了用戶的數據，FileCoin 創造出一個新的證明機制叫 POST 時空復制證明。這個 POST 就是 FileCoin 的工作量了。把耗電的算力換成存儲有用數據的存儲空間，無意義的軍備競爭變成了存儲服務市場競爭。這確實是 FileCoin 的進步之處。只不過，為了成功的出塊，礦工通過預期共識被選為出塊節點後，必須在一個塊的時間里（現在是45秒）做個 POST 證明，成功提交，才能出塊。否則就失去機會。所以，為了確保礦工能在指定時間內出塊，最終官方還是決定要使用 GPU。雖然這 GPU 不是像工作量證明那樣一直不停的工作，但是在整個實現共識的過程中還是出現了跟有用的工作量證明思想相違背的耗能計算。

還有，談到預期共識的時候，我們說到每一個紀元出塊都不是一個塊，而是一組塊，那麼紀元這個概念就很重要了。怎麼控制紀元呢？每個礦工在參與選舉前，需要先生成一個 Ticket，這個 Ticket 實際上是一個隨機數，他需要走一個 VDF 和 VRF 的流程，這個 VDF 全稱 Verifiable Delay Function，可驗證的延時函數。他的計算流程是串列的，需要花費一定的時間，並且這個時間無法通過多核並行的方式進行縮減。這保證了每個礦工產生 Ticket 時必須要消耗的時間，沒有人可以通過優化硬體的方式來獲得加速。聽上去這函數很完美，可是，這個 VDF 根本還不存在！現在 FileCoin 測試網直接使用了一個等待函數 sleep，這是 UDF，Unverifiable Delay Function。現在最接近的 VDF 解決方案，也是需要消耗大量計算資源的。說白了，還是要耗電，還是不環保。

所以，有用的工作量證明，依然只是一個美好的願望，理想很豐滿，但現實很骨感。被譽為下一個比特幣的 FIL，還要繼續為實現這個顛覆性的共識而努力。

總結一下FileCoin存儲礦工獲取激勵的流程：用戶存儲數據，支付FIL費用 -> 礦工存儲數據 -> 生成復制證明 -> 完成時空證明 -> 經過EC共識，選出出塊Leader -> 獲取打包權 -> 礦工獲取FIL獎勵

在這個流程圖上，可以看到，礦工可以在兩個地方獲取獎勵。一個是存儲用戶文件的時候可以得到用戶的FIL獎勵。一個是在獲取區塊打包權後獲得FIL。而得到區塊打包權的一個前提就是存有足夠多的用戶數據。所以，在存儲需求不夠大的情況下，礦工會從用戶那裡收取很低廉的費用。在用戶不夠的情況下，甚至會倒貼錢自己付FIL存數據，只為能夠存足夠多的數據，在 EC 共識中被選成 Leader 得到打包獎勵。這樣產生的效果是，FileCoin 對用戶非常友好，存儲費用非常低。所以，一定會吸引很多的應用來這個平台上做開發。但是缺點也很明顯，如果存儲量不夠大，礦工根本沒法跟其他人爭奪出塊權，所以得不到獎勵。最後整個平台會朝著大礦工，大礦池的方向發展，這跟 FileCoin 想把所有閑散伺服器利用起來實現分布式存儲的初衷是違背的。或者說，一定要等到這個行業具有一定規模，技術更成熟，才有小礦機挖礦的機會。

我們先來簡單的講一講中心化存儲和去中心化存儲各自的利弊。中心化存儲設備統一管理，可靠性好，性能高，去中心化存儲數據天然分散，易於流通，容災性好，但是可靠性低。從經濟角度來說，中心化存儲是重資產投入，成本高。去中心化存儲通過區塊鏈激勵層，用戶自行加入，輕資產，可降低存儲總成本。未來應用數據的存儲和處理還會是以中心化存儲為主，而去中心化存儲因為是分布式網路，主要可用於熱門數據流量分發。同時，因為沒有中心化所有權，可以成為去中心化應用的首選。

市場上有一種說法是，去中心化網路適合冷數據的備份，其實這並不是去中心化存儲的優點，實在是因為把熱數據放到去中心化網路上太不可靠，處理性能也跟不上。所以，如果去中心化存儲能實現一定的規模效應，大大降低存儲成本，把冷數據備份當作核心業務，並把目標定位在今天因為成本太高沒被企業存儲的冷數據，會是一個很好的發展方向。

如此說來，從技術上講，去中心化存儲並不一定比中心化存儲有優勢。如果能推行一種新的模式，把去中心化的經濟激勵和中心化的存儲合在一起，就能吸收兩者的長處。真正實現有用的工作量。FileCoin 未來可能促成的大礦場模式的數據中心，可能更有市場。

在11年後的今天，比特幣並沒有實現它成為一個點對點的電子支付貨幣的初衷，但阻止不了人類前赴後繼的去買它，擁有它。同樣，我相信 FileCoin 已經得到足夠大的社群，礦工和開發者的支持，即使在可預見的未來，它不會促成分布式存儲應用的全面落地（也許這從來不是 FileCoin 的目標），但我還是相信會有很多人會因為它的共識去購買它，持有它。上升到哲學層面，人類在為真理買單。

那麼在實際生活中，何為有用，或者說，我們到底是在用存儲做共識還是用共識做存儲？FileCoin 是前者。FileCoin 想要基於存儲工作量實現的去中心化的共識，理論上是完美的，追求完美，人類是要付出代價的。這也是為什麼在這個項目上我們等待了這么長的時間。但是一旦實現，它可能會為人類帶來巨大價值，對市場帶來無窮大的號召力。

只不過去中心化不是萬物的靈葯。中心化的一個最大優勢是它的效率非常高。像dPOS或者聯盟鏈這樣的弱中心化共識兼顧兩者優勢，能更快速的把應用推向市場，提前啟動分布式存儲行業，推進分布式存儲應用落地。所以，我們既追求用存儲做共識，也追求用共識做存儲，根據實際需求來做出我們的選擇。在這個過程中，相信區塊鏈也會進一步發展，逐步優化，變得越來越有用。

C. hpc場景使用分布式還是集中式

是最為傳統的分布式

目測分布式存儲領域有兩個派系，一派是SDS（軟體定義存儲），一派是軟硬一體，新型派系中區塊鏈通證經濟+軟硬體也開始嶄露頭角。前者以vSAN、Ceph為代表，以軟體廠商為主在推廣。分布式存儲軟體+通用伺服器組合，打著重定義存儲市場的旗幟，頗有「有王侯將相寧有種乎」的氣勢；另一派是存儲老牌存儲玩家的產品，他們以軟硬一體為主，如Isilon、HCP等。新型派系主要是以區塊鏈通證經濟結合去中心存儲系統，實現全球軟硬體的資源搭配，共享資源實現存儲，以IPFS+Filecoin為代表。

D. ⑩ OpenStack高可用集群部署方案(train版)—OpenStack對接Ceph存儲

參考Ceph官方安裝文檔

Openstack環境中，數據存儲可分為臨時性存儲與永久性存儲。

臨時性存儲：主要由本地文件系統提供，並主要用於nova虛擬機的本地系統與臨時數據盤，以及存儲glance上傳的系統鏡像；

永久性存儲：主要由cinder提供的塊存儲與swift提供的對象存儲構成，以cinder提供的塊存儲應用最為廣泛，塊存儲通常以雲盤的形式掛載到虛擬機中使用。

Openstack中需要進行數據存儲的三大項目主要是nova項目（虛擬機鏡像文件），glance項目（共用模版鏡像）與cinder項目（塊存儲）。

下圖為cinder，glance與nova訪問ceph集群的邏輯圖：

ceph與openstack集成主要用到ceph的rbd服務，ceph底層為rados存儲集群，ceph通過librados庫實現對底層rados的訪問；

openstack各項目客戶端調用librbd，再由librbd調用librados訪問底層rados；
實際使用中，nova需要使用libvirtdriver驅動以通過libvirt與qemu調用librbd；cinder與glance可直接調用librbd；

寫入ceph集群的數據被條帶切分成多個object，object通過hash函數映射到pg（構成pg容器池pool），然後pg通過幾圈crush演算法近似均勻地映射到物理存儲設備osd（osd是基於文件系統的物理存儲設備，如xfs，ext4等）。

CEPH PG數量設置與詳細介紹

在創建池之前要設置一下每個OSD的最大PG 數量

PG PGP官方計算公式計算器

參數解釋：

依據參數使用公式計算新的 PG 的數目:
PG 總數= ((OSD總數*100)/最大副本數)/池數
3x100/3/3=33.33 ;舍入到2的N次幕為32

openstack集群作為ceph的客戶端；下面需要再openstack集群上進行ceph客戶端的環境配置

在openstack所有控制和計算節點安裝ceph Octopus源碼包，centos8有默認安裝，但是版本一定要跟連接的ceph版本一致

glance-api 服務運行在3個控制節點， 因此三台控制節點都必須安裝

cinder-volume 與 nova-compute 服務運行在3個計算（存儲）節點； 因此三台計算節點都必須安裝

將配置文件和密鑰復制到openstack集群各節點

配置文件就是生成的ceph.conf；而密鑰是 ceph.client.admin.keyring ，當使用ceph客戶端連接至ceph集群時需要使用的密默認密鑰，這里我們所有節點都要復制，命令如下

※Glance 作為openstack中鏡像服務，支持多種適配器，支持將鏡像存放到本地文件系統，http伺服器，ceph分布式文件系統，glusterfs和sleepdog等開源的分布式文件系統上。目前glance採用的是本地filesystem的方式存儲，存放在默認的路徑 /var/lib/glance/images 下，當把本地的文件系統修改為分布式的文件系統ceph之後，原本在系統中鏡像將無法使用，所以建議當前的鏡像刪除，部署好ceph之後，再統一上傳至ceph中存儲。

※Nova 負責虛擬機的生命周期管理，包括創建，刪除，重建，開機，關機，重啟，快照等，作為openstack的核心，nova負責IaaS中計算重要的職責，其中nova的存儲格外重要，默認情況下，nova將instance的數據存放在/var/lib/nova/instances/%UUID目錄下，使用本地的存儲空間。使用這種方式帶來的好處是:簡單，易實現，速度快，故障域在一個可控制的范圍內。然而，缺點也非常明顯：compute出故障，上面的虛擬機down機時間長，沒法快速恢復，此外，一些特性如熱遷移live-migration,虛擬機容災nova evacuate等高級特性，將無法使用，對於後期的雲平台建設，有明顯的缺陷。對接 Ceph 主要是希望將實例的系統磁碟文件儲存到 Ceph 集群中。與其說是對接 Nova，更准確來說是對接 QEMU-KVM/libvirt，因為 librbd 早已原生集成到其中。

※Cinder 為 OpenStack 提供卷服務，支持非常廣泛的後端存儲類型。對接 Ceph 後，Cinder 創建的 Volume 本質就是 Ceph RBD 的塊設備，當 Volume 被虛擬機掛載後，Libvirt 會以 rbd 協議的方式使用這些 Disk 設備。除了 cinder-volume 之後，Cinder 的 Backup 服務也可以對接 Ceph，將備份的 Image 以對象或塊設備的形式上傳到 Ceph 集群。

使用ceph的rbd介面，需要通過libvirt，所以需要在客戶端機器上安裝libvirt和qemu，關於ceph和openstack結合的結構如下，同時，在openstack中，需要用到存儲的地方有三個:

為 Glance、Nova、Cinder 創建專用的RBD Pools池

需要配置hosts解析文件，這里最開始已經配置完成，如未添加hosts解析需要進行配置

在cephnode01管理節點上操作 ；命名為：volumes，vms，images

記錄：刪除存儲池的操作

在cephnode01管理節點上操作 ；

針對pool設置許可權，pool名對應創建的pool

nova-compute與cinder-volume都部署在計算節點 ，不必重復操作,如果計算節點與存儲節點分離需要分別推送；

全部計算節點配置；以compute01節點為例；

Glance 為 OpenStack 提供鏡像及其元數據注冊服務，Glance 支持對接多種後端存儲。與 Ceph 完成對接後，Glance 上傳的 Image 會作為塊設備儲存在 Ceph 集群中。新版本的 Glance 也開始支持 enabled_backends 了，可以同時對接多個存儲提供商。

寫時復制技術(-on-write) ：內核只為新生成的子進程創建虛擬空間結構，它們復制於父進程的虛擬空間結構，但是不為這些段分配物理內存，它們共享父進程的物理空間，當父子進程中有更改相應的段的行為發生時，再為子進程相應的段分配物理空間。寫時復制技術大大降低了進程對資源的浪費。

全部控制節點進行配置；以controller01節點為例；
只修改涉及glance集成ceph的相關配置

變更配置文件，重啟服務

ceph官網介紹 QEMU和塊設備

對接 Ceph 之後，通常會以 RAW 格式創建 Glance Image，而不再使用 QCOW2 格式，否則創建虛擬機時需要進行鏡像復制，沒有利用 Ceph RBD COW 的優秀特性。

總結

將openstack集群中的glance鏡像的數據存儲到ceph中是一種非常好的解決方案，既能夠保障鏡像數據的安全性，同時glance和nova在同個存儲池中，能夠基於-on-write(寫時復制)的方式快速創建虛擬機，能夠在秒級為單位實現vm的創建。

全部計算節點進行配置； 以compute01節點為例；只修改glance集成ceph的相關配置

全部計算節點重啟cinder-volume服務；

任意openstack控制節點上查看;

在任意控制節點為cinder的ceph後端存儲創建對應的type，在配置多存儲後端時可區分類型；

為ceph type設置擴展規格，鍵值 volume_backend_name ，value值 ceph

任意控制節點上創建一個1GB的卷 ；最後的數字1代表容量為1G

查看創建好的卷

openstack創建一個空白 Volume，Ceph相當於執行了以下指令

從鏡像創建 Volume 的時候應用了 Ceph RBD COW Clone 功能，這是通過 glance-api.conf [DEFAULT] show_image_direct_url = True 來開啟。這個配置項的作用是持久化 Image 的 location，此時 Glance RBD Driver 才可以通過 Image location 執行 Clone 操作。並且還會根據指定的 Volume Size 來調整 RBD Image 的 Size。

一直存在的cirros_qcow2鏡像為對接ceph之前的鏡像，現在已無法使用，所以將之刪除

在openstack上從鏡像創建一個Volume，Ceph相當於執行了以下指令

任意控制節點操作；

查看快照詳細信息

在openstack上對鏡像的卷創建快照，Ceph相當於執行了以下指令

如果說快照時一個時間機器，那麼備份就是一個異地的時間機器，它具有容災的含義。所以一般來說 Ceph Pool backup 應該與 Pool images、volumes 以及 vms 處於不同的災備隔離域。

https://www.cnblogs.com/luohaixian/p/9344803.html

https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html

一般的，備份具有以下類型：

在虛擬磁碟映像的計算節點上使用本地存儲有一些缺點：

Nova 為 OpenStack 提供計算服務，對接 Ceph 主要是希望將實例的系統磁碟文件儲存到 Ceph 集群中。與其說是對接 Nova，更准確來說是對接 QEMU-KVM/libvirt ，因為 librbd 早已原生集成到其中。

如果需要從ceph rbd中啟動虛擬機，必須將ceph配置為nova的臨時後端；
推薦在計算節點的配置文件中啟用rbd cache功能；
為了便於故障排查，配置admin socket參數，這樣每個使用ceph rbd的虛擬機都有1個socket將有利於虛擬機性能分析與故障解決；
相關配置只涉及全部計算節點ceph.conf文件的[client]與[client.cinder]欄位，以compute163節點為例

全部計算節點配置 ceph.conf文件相關的 [client] 與 [client.cinder] 欄位，以compute01節點為例；

在全部計算節點配置nova後端使用ceph集群的vms池，以compute01節點為例；

在全部計算節點操作;

在全部計算節點操作，以compute01節點為例；
以下給出libvirtd.conf文件的修改處所在的行num

E. filecoin幣是什麼

Filecoin幣，中文為文件幣，是一個開源、面向大眾開放的加密貨幣和數字支付系統；文件幣系統旨在打造一個基於區塊鏈系統的數據存儲和檢索方法，它是協議實驗室以星際文件為基礎而創造的；文件幣在ICO預銷售和ICO銷售中分別集資5200萬美元和2億美元。
加密貨幣（英文：Cryptocurrency）是一種使用密碼學原理來確保交易安全及控制交易單位創造的交易媒介；加密貨幣是數字貨幣（或稱虛擬貨幣）的一種。比特幣在2009年成為第一個去中心化的加密貨幣，這之後加密貨幣一詞多指此類設計。自此之後數種類似的加密貨幣被創造，它們通常被稱作altcoins；加密貨幣基於去中心化的共識機制，與依賴中心化監管體系的銀行金融系統相對。

星際文件系統（InterPlanetaryFileSystem，縮寫IPFS）是一個旨在創建持久且分布式存儲和共享文件的網路傳輸協議。它是一種內容可定址的對等超媒體分發協議。在IPFS網路中的節點將構成一個分布式文件系統。它是一個開放源代碼項目，自2014年開始由ProtocolLabs在開源社區的幫助下發展；IPFS是一個對等的分布式文件系統，它嘗試為所有計算設備連接同一個文件系統。在某些方面，IPFS類似於萬維網，但它也可以被視作一個獨立的BitTorrent群、在同一個Git倉庫中交換對象。
本條內容來源於：中國法律出版社《中華人民共和國金融法典:應用版》