filecoin使用ceph修改源码

A. cephfs-top尝鲜体验

根据ceph 16版本的changelog，16版本提供了cephfs-top文件系统监控工具。刚好手头最近有个16版本的集群，便体验一下。

文件系统客户端周期性向元数据服务发送各类监控指标（metrics），这部分数据由元数据服务路由到mds为rank 0的节点 。
元数据服务器（多活部署）同样会将自身的指标数据发送至rank 0节点。并由rank 0汇集之后发送给Ceph mgr服务。

工具的使用者可以看到两类和文件系统相关的数据：
1、全局数据。窥探文件系统整体情况，比如客户端延迟。
2、每个MDS服务的数据。比如每个MDS拥有的子树（但是实际体验没看到）。

ceph-mgr作为管理组件，具有集成插件的能力。stats负责统计插件。使用前开启stats插件

由stats插件提供的文件系统性能统计命令

（注：方括号代表可选）

不加mds_rank查看到的是整体文件系统监控指标。利用json形式查看。

输出如下：

尝试之后发现展示的信息还是不够直观。另外，MDS的统计信息都是空的。

其中属于 客户端 几个主要的参数：

几个延迟是总延迟，除以操作量才是平均延迟。

cephfs-top是类似top的形式，依赖组件是mgr中的stats插件。使用python语言实现，展示主要是客户端的统计情况。

cephfs-top源码中，获取数据实现部分。

创建client.fstop用户，该用户为cephfs-top工具默认使用的用户

安装cephfs-top工具

如果出现 “RADOS permission denied”的错误。使用ceph auth get命令获得fstop的keyring至本地ceph默认配置目录。

运行监控命令

选项 -d 可以支持0.5s以上的展示频率。

可展示信息：
1、客户端数量，统计FUSE、内核、libcephfs使用者。
2、客户端id；
3、客户端对应cephfs挂载目录；
4、客户端本地目录，IP地址；
5、chit cap的命中率。
6、rlat 读操作总延迟（单位s）
7、wlat 写操作总延迟（单位s）。
8、mlat 元数据操作总延迟（单位s）。
9、dlease dentry lease即客户端dentry可用率。
10、oicaps 该客户端持有caps的数量。
11、oinodes 该客户端打开文件持有inode的数量。

在统计插件stats和cephfs-top出现前，ceph支持到各个组件所在节点通过命令查看性能统计。

比如客户端的延迟只能登陆到各个挂载节点查看。MDS的情况也只能在对应的节点通过ceph daemon方式查看。现在做了部分信息的汇总，对于运维和性能优化工作而言非常方便。

但是，统计的信息覆盖面还比较窄，组件的统计信息细节没有完全展示，如果要查看某个客户端或者MDS的统计信息，还是需要到各个节点上查看。cephfs-top还有可完善的空间。

B. FileCoin: 有用的工作量证明

有用的工作量证明（Proof of Useful Work）是由着名的去中心化存储项目 FileCoin 在它的白皮书里提出来的一个概念。工作量证明，Proof of Work，POW 是实现区块链的一个重要共识方式，FileCoin 要实现一个基于区块链的存储平台。所以它也要做共识，它选择的就是工作量证明共识。

首先我们来解释一下常规的工作量证明。它是区块链实现共识的一种方式。是比特币采用的方式，所以，工作量证明就是俗称的“挖矿”。比特币做为一个去中心化的点对点交易系统，要在不同的节点上维护一个共同的完全相同的帐本，来记录所有的交易，而且确保交易不会重复，不会一笔钱多花，就需要一个维护这个账本一致性的规则。大家一起遵守这个规则，就是共识。区块链常用的方法是，把这个账本分成很多页，每个页就是一个区块。每个区块由一个节点来记账，然后分发给其他节点复制，这样所有节点上的账本都是一样的。但是每个区块都由哪个节点来记录，就需要一个大家都能遵守的规则。比特币采用的方法，是让所有的节点做一道简单的数学题，题目很简单，但是计算量很大，一般要10分钟左右才能做出答案来。得到答案虽然很费时间，但是验证答案是否正确很容易。然后所有的节点同时做题，第一个做出来的节点，就得到下一个区块的记账权。因为每个区块都只有唯一一个最早做出题的节点，所以，每个区块的记账权是唯一的，而且也是很容易被其他节点验证的。节点一旦验证到其他节点得到了区块记账权，就必须复制区块，加到本地区块链中，同时开始下一个区块记账权的竞争。通过这种方式，比特币就能确保所有节点的区块链是一致的。

节点通过大量计算竞争区块记账权的的过程，就是工作量证明。所以，工作量证明系统（或者说协议、函数），是一种应对拒绝服务攻击和其他服务滥用的经济对策。它要求发起者进行一定量的运算，也就意味着需要消耗计算机一定的时间。这个概念由 Cynthia Dwork 和 Moni Naor 1993 年在学术论文中首次提出。而工作量证明（POW）这个名词，则是在 1999 年 Markus Jakobsson 和 Ari Juels 的文章中才被真正提出。

实现区块链共识的方式还有很多，如POS，DPOS，POA，PBFT等等，但是工作量证明是唯一被时间验证过（11年）的在公链上运行的区块链共识机制。

工作量证明存在一个什么样的问题呢？还是用比特币为例。比特币节点为了获取出块权做得那个数学题，叫哈希运算。计算量非常大，每一台参与比特币挖矿的矿机都要时刻进行这个计算，耗费大量的电力。这个计算不像其他的如大数据处理的计算，可以产生一些价值，它的唯一目的，就是竞争出一个节点，成为下一区块的出块者。目前比特币每年消耗电量约25.5亿瓦，这相当于全球电量的0.5%，是爱尔兰一年的耗电量。反对POW的人纷纷指责挖矿将电力资源浪费在虚无缥缈的数字货币上，还称之为自由主义的“泔水”。

但是，认为POW是浪费的电的人不知道，正是能源和算力打造了比特币安全不可攻破的体系。

一张100元的现金不只是你我认为他值100，而是整个社会群体都认为他值100，价值就是来自于共识。比特币是社区行为，来自不同国家的人聚集到社区，用互联网来建立秩序，它的意义也是来自于群体共识，只要大家都相信比特币有价值，只共识存在，那么他就有价值，和法币一模一样。所以产生价值认同并不一定需要国家来驱动，比特币改革了一种传递信任的载体和媒介，千百年来，人类社会通过多少流血战争建立的政权和共识，现在兵不血刃，只是耗费些电力就实现，岂不是更先进。

总结而言，要想设计一个去中心化而且安全的数字货币，能源和算力是必要的代价。工作量证明是以去中心化形式构建安全产权认证系统的唯一方案。所以认为POW是浪费的电的人不知道，正是能源和算力打造了比特币安全不可攻破的体系。现在比特币全网算力已经达到一个非常恐怖的地步，任何人想要发动51%算力攻击已经是不可能的事情了，POW算法使比特币系统牢不可破。

为缔造价值而产生的消耗不叫浪费。

但是，如此多的算力，是否可以用来创造更多的价值呢？用 FileCoin 的话说，工作量证明，还有没有其他用途呢？

FileCoin 是分布式存储行业的明星项目。他的开发团队 Protocol Lab 就是开发 IPFS 协议的团队，以至于很多人都分不清FileCoin 和 IPFS 的区别。可以说是2017年 FileCoin 的1CO，把这个行业推向巅峰，也引出了一系列的同类型项目。本文无意于赞誉或者贬低这个项目，只想结合自己从事这个行业的经验，表达一些自己的观点，尽量做到客观公正。希望对从事这个行业的人有一些启发。

FileCoin 在白皮书中提出要实现一个有用的工作量证明，实际上就是认可了，要打造一个安全不可攻破的区块链，就必须消耗工作量。但是，他们不希望为这个工作量做出的计算完全被浪费，所以想把这个工作量利用起来。所以，他们想到的方法是，在工作量证明里加入存储空间的使用率。这样，所有的节点为了形成共识，就必须提供存储空间来存文件。这个存储空间就可以存用户数据，就是有用的。

那我们来看一下FileCoin是怎样实现这种有用的工作量证明共识的。

Filecoin采用的共识机制并不是简单的工作量证明，而是一种叫做预期共识（Expected Consensus，简称 EC）的机制。和其他主流共识机制目标一样，让矿工争夺某一个高度唯一的出块权而获得奖励。这个获得出块权的矿工叫做 Leader。在每一轮的出块争夺中，为了保证账本的可靠性，都有一个唯一的 leader 来进行记账。

也就是说，共识的核心就是选择谁来当 Leader。选 Leader 的方式一般有两种，交互式或者非交互式。交互式是要矿工之间互相投票的。比如 PBFT 就是交互式的，几个参与选举的人通过互发信息，得到多数票（ 超过 2/3 ）的人就是 Leader。预期共识采用了非交互式的方式来选举 Leader。参与的各方根本不给彼此发消息，而是每个节点各自独立私下进行运算。最后某个节点说，我赢得了选举，然后提供一个证明，其他人可以很容易就验证，他确实赢得了选举。这个验证方法就是零知识证明。

预期共识机制会为区块链网络预设一个出块的期望值。比如每1个纪元（epoch）生成1个区块（block），但也有一个纪元可能出现空块或多个区块的情况。所以在 Filecoin 中，每个高度不是一个区块，而是一个区块集，叫做 TipSet，这个 TipSet 中可能包含了多个区块。所以实际上 Filecoin 是 TipSet 链。预期共识无法保证每一轮只选举出一个 Leader，所以会出现一轮中有多个 Leader 的可能，这样链式结构就变成了DAG的网状结构。所以 FileCoin 还会对 block 赋权重，实现有效收敛。

FileCoin 采用的 EC 共识有一个好处。对于传统的 POS 共识机制来说，有一个重大问题就是无法控制分叉。也就是说，由于挖矿成本低，参与者可以同时挖多个链获取利益。而预期共识对这一点做了设计，那就是通过权重和抵押机制来促使矿工选择一条最好的链，对同时挖多个链的矿工进行惩罚，这样可以非常快速地促进收敛。这说明 POW 和 POS 共同使用会是一种好的方式。

每一个矿工获得出块的可能与其当前有效存储量占全网总存储量正相关。这种期望共识机制其实是更像是 POS 权益证明，只是它将POS里边的权益（Staking）换成了有效存储占比。但是矿工的有效存储从何而来呢？是通过存储用户数据得来。如何证明矿工存储了用户的数据，FileCoin 创造出一个新的证明机制叫 POST 时空复制证明。这个 POST 就是 FileCoin 的工作量了。把耗电的算力换成存储有用数据的存储空间，无意义的军备竞争变成了存储服务市场竞争。这确实是 FileCoin 的进步之处。只不过，为了成功的出块，矿工通过预期共识被选为出块节点后，必须在一个块的时间里（现在是45秒）做个 POST 证明，成功提交，才能出块。否则就失去机会。所以，为了确保矿工能在指定时间内出块，最终官方还是决定要使用 GPU。虽然这 GPU 不是像工作量证明那样一直不停的工作，但是在整个实现共识的过程中还是出现了跟有用的工作量证明思想相违背的耗能计算。

还有，谈到预期共识的时候，我们说到每一个纪元出块都不是一个块，而是一组块，那么纪元这个概念就很重要了。怎么控制纪元呢？每个矿工在参与选举前，需要先生成一个 Ticket，这个 Ticket 实际上是一个随机数，他需要走一个 VDF 和 VRF 的流程，这个 VDF 全称 Verifiable Delay Function，可验证的延时函数。他的计算流程是串行的，需要花费一定的时间，并且这个时间无法通过多核并行的方式进行缩减。这保证了每个矿工产生 Ticket 时必须要消耗的时间，没有人可以通过优化硬件的方式来获得加速。听上去这函数很完美，可是，这个 VDF 根本还不存在！现在 FileCoin 测试网直接使用了一个等待函数 sleep，这是 UDF，Unverifiable Delay Function。现在最接近的 VDF 解决方案，也是需要消耗大量计算资源的。说白了，还是要耗电，还是不环保。

所以，有用的工作量证明，依然只是一个美好的愿望，理想很丰满，但现实很骨感。被誉为下一个比特币的 FIL，还要继续为实现这个颠覆性的共识而努力。

总结一下FileCoin存储矿工获取激励的流程：用户存储数据，支付FIL费用 -> 矿工存储数据 -> 生成复制证明 -> 完成时空证明 -> 经过EC共识，选出出块Leader -> 获取打包权 -> 矿工获取FIL奖励

在这个流程图上，可以看到，矿工可以在两个地方获取奖励。一个是存储用户文件的时候可以得到用户的FIL奖励。一个是在获取区块打包权后获得FIL。而得到区块打包权的一个前提就是存有足够多的用户数据。所以，在存储需求不够大的情况下，矿工会从用户那里收取很低廉的费用。在用户不够的情况下，甚至会倒贴钱自己付FIL存数据，只为能够存足够多的数据，在 EC 共识中被选成 Leader 得到打包奖励。这样产生的效果是，FileCoin 对用户非常友好，存储费用非常低。所以，一定会吸引很多的应用来这个平台上做开发。但是缺点也很明显，如果存储量不够大，矿工根本没法跟其他人争夺出块权，所以得不到奖励。最后整个平台会朝着大矿工，大矿池的方向发展，这跟 FileCoin 想把所有闲散服务器利用起来实现分布式存储的初衷是违背的。或者说，一定要等到这个行业具有一定规模，技术更成熟，才有小矿机挖矿的机会。

我们先来简单的讲一讲中心化存储和去中心化存储各自的利弊。中心化存储设备统一管理，可靠性好，性能高，去中心化存储数据天然分散，易于流通，容灾性好，但是可靠性低。从经济角度来说，中心化存储是重资产投入，成本高。去中心化存储通过区块链激励层，用户自行加入，轻资产，可降低存储总成本。未来应用数据的存储和处理还会是以中心化存储为主，而去中心化存储因为是分布式网络，主要可用于热门数据流量分发。同时，因为没有中心化所有权，可以成为去中心化应用的首选。

市场上有一种说法是，去中心化网络适合冷数据的备份，其实这并不是去中心化存储的优点，实在是因为把热数据放到去中心化网络上太不可靠，处理性能也跟不上。所以，如果去中心化存储能实现一定的规模效应，大大降低存储成本，把冷数据备份当作核心业务，并把目标定位在今天因为成本太高没被企业存储的冷数据，会是一个很好的发展方向。

如此说来，从技术上讲，去中心化存储并不一定比中心化存储有优势。如果能推行一种新的模式，把去中心化的经济激励和中心化的存储合在一起，就能吸收两者的长处。真正实现有用的工作量。FileCoin 未来可能促成的大矿场模式的数据中心，可能更有市场。

在11年后的今天，比特币并没有实现它成为一个点对点的电子支付货币的初衷，但阻止不了人类前赴后继的去买它，拥有它。同样，我相信 FileCoin 已经得到足够大的社群，矿工和开发者的支持，即使在可预见的未来，它不会促成分布式存储应用的全面落地（也许这从来不是 FileCoin 的目标），但我还是相信会有很多人会因为它的共识去购买它，持有它。上升到哲学层面，人类在为真理买单。

那么在实际生活中，何为有用，或者说，我们到底是在用存储做共识还是用共识做存储？FileCoin 是前者。FileCoin 想要基于存储工作量实现的去中心化的共识，理论上是完美的，追求完美，人类是要付出代价的。这也是为什么在这个项目上我们等待了这么长的时间。但是一旦实现，它可能会为人类带来巨大价值，对市场带来无穷大的号召力。

只不过去中心化不是万物的灵药。中心化的一个最大优势是它的效率非常高。像dPOS或者联盟链这样的弱中心化共识兼顾两者优势，能更快速的把应用推向市场，提前启动分布式存储行业，推进分布式存储应用落地。所以，我们既追求用存储做共识，也追求用共识做存储，根据实际需求来做出我们的选择。在这个过程中，相信区块链也会进一步发展，逐步优化，变得越来越有用。

C. hpc场景使用分布式还是集中式

是最为传统的分布式

目测分布式存储领域有两个派系，一派是SDS（软件定义存储），一派是软硬一体，新型派系中区块链通证经济+软硬件也开始崭露头角。前者以vSAN、Ceph为代表，以软件厂商为主在推广。分布式存储软件+通用服务器组合，打着重定义存储市场的旗帜，颇有“有王侯将相宁有种乎”的气势；另一派是存储老牌存储玩家的产品，他们以软硬一体为主，如Isilon、HCP等。新型派系主要是以区块链通证经济结合去中心存储系统，实现全球软硬件的资源搭配，共享资源实现存储，以IPFS+Filecoin为代表。

D. ⑩ OpenStack高可用集群部署方案(train版)—OpenStack对接Ceph存储

参考Ceph官方安装文档

Openstack环境中，数据存储可分为临时性存储与永久性存储。

临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；

永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。

Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。

下图为cinder，glance与nova访问ceph集群的逻辑图：

ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；

openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；
实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；

写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。

CEPH PG数量设置与详细介绍

在创建池之前要设置一下每个OSD的最大PG 数量

PG PGP官方计算公式计算器

参数解释：

依据参数使用公式计算新的 PG 的数目:
PG 总数= ((OSD总数*100)/最大副本数)/池数
3x100/3/3=33.33 ;舍入到2的N次幕为32

openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置

在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致

glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装

cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装

将配置文件和密钥复制到openstack集群各节点

配置文件就是生成的ceph.conf；而密钥是 ceph.client.admin.keyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下

※Glance 作为openstack中镜像服务，支持多种适配器，支持将镜像存放到本地文件系统，http服务器，ceph分布式文件系统，glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储，存放在默认的路径 /var/lib/glance/images 下，当把本地的文件系统修改为分布式的文件系统ceph之后，原本在系统中镜像将无法使用，所以建议当前的镜像删除，部署好ceph之后，再统一上传至ceph中存储。

※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。

※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。

使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:

为 Glance、Nova、Cinder 创建专用的RBD Pools池

需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置

在cephnode01管理节点上操作 ；命名为：volumes，vms，images

记录：删除存储池的操作

在cephnode01管理节点上操作 ；

针对pool设置权限，pool名对应创建的pool

nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；

全部计算节点配置；以compute01节点为例；

Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。

写时复制技术(-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。

全部控制节点进行配置；以controller01节点为例；
只修改涉及glance集成ceph的相关配置

变更配置文件，重启服务

ceph官网介绍 QEMU和块设备

对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。

总结

将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。

全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置

全部计算节点重启cinder-volume服务；

任意openstack控制节点上查看;

在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；

为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph

任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G

查看创建好的卷

openstack创建一个空白 Volume，Ceph相当于执行了以下指令

从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-api.conf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。

一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除

在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令

任意控制节点操作；

查看快照详细信息

在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令

如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。

https://www.cnblogs.com/luohaixian/p/9344803.html

https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html

一般的，备份具有以下类型：

在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：

Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。

如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；
推荐在计算节点的配置文件中启用rbd cache功能；
为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；
相关配置只涉及全部计算节点ceph.conf文件的[client]与[client.cinder]字段，以compute163节点为例

全部计算节点配置 ceph.conf文件相关的 [client] 与 [client.cinder] 字段，以compute01节点为例；

在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；

在全部计算节点操作;

在全部计算节点操作，以compute01节点为例；
以下给出libvirtd.conf文件的修改处所在的行num

E. filecoin币是什么

Filecoin币，中文为文件币，是一个开源、面向大众开放的加密货币和数字支付系统；文件币系统旨在打造一个基于区块链系统的数据存储和检索方法，它是协议实验室以星际文件为基础而创造的；文件币在ICO预销售和ICO销售中分别集资5200万美元和2亿美元。
加密货币（英文：Cryptocurrency）是一种使用密码学原理来确保交易安全及控制交易单位创造的交易媒介；加密货币是数字货币（或称虚拟货币）的一种。比特币在2009年成为第一个去中心化的加密货币，这之后加密货币一词多指此类设计。自此之后数种类似的加密货币被创造，它们通常被称作altcoins；加密货币基于去中心化的共识机制，与依赖中心化监管体系的银行金融系统相对。

星际文件系统（InterPlanetaryFileSystem，缩写IPFS）是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。它是一个开放源代码项目，自2014年开始由ProtocolLabs在开源社区的帮助下发展；IPFS是一个对等的分布式文件系统，它尝试为所有计算设备连接同一个文件系统。在某些方面，IPFS类似于万维网，但它也可以被视作一个独立的BitTorrent群、在同一个Git仓库中交换对象。
本条内容来源于：中国法律出版社《中华人民共和国金融法典:应用版》