導航:首頁 > 配伺服器 > 伺服器幾塊硬碟如何存儲數據的

伺服器幾塊硬碟如何存儲數據的

發布時間:2022-04-26 19:51:41

⑴ 數據存儲形式有哪幾種

【塊存儲】

典型設備:磁碟陣列,硬碟

塊存儲主要是將裸磁碟空間整個映射給主機使用的,就是說例如磁碟陣列裡面有5塊硬碟(為方便說明,假設每個硬碟1G),然後可以通過劃邏輯盤、做Raid、或者LVM(邏輯卷)等種種方式邏輯劃分出N個邏輯的硬碟。(假設劃分完的邏輯盤也是5個,每個也是1G,但是這5個1G的邏輯盤已經於原來的5個物理硬碟意義完全不同了。例如第一個邏輯硬碟A裡面,可能第一個200M是來自物理硬碟1,第二個200M是來自物理硬碟2,所以邏輯硬碟A是由多個物理硬碟邏輯虛構出來的硬碟。)

接著塊存儲會採用映射的方式將這幾個邏輯盤映射給主機,主機上面的操作系統會識別到有5塊硬碟,但是操作系統是區分不出到底是邏輯還是物理的,它一概就認為只是5塊裸的物理硬碟而已,跟直接拿一塊物理硬碟掛載到操作系統沒有區別的,至少操作系統感知上沒有區別。

此種方式下,操作系統還需要對掛載的裸硬碟進行分區、格式化後,才能使用,與平常主機內置硬碟的方式完全無異。

優點:

1、 這種方式的好處當然是因為通過了Raid與LVM等手段,對數據提供了保護。

2、 另外也可以將多塊廉價的硬碟組合起來,成為一個大容量的邏輯盤對外提供服務,提高了容量。

3、 寫入數據的時候,由於是多塊磁碟組合出來的邏輯盤,所以幾塊磁碟可以並行寫入的,提升了讀寫效率。

4、 很多時候塊存儲採用SAN架構組網,傳輸速率以及封裝協議的原因,使得傳輸速度與讀寫速率得到提升。

缺點:

1、採用SAN架構組網時,需要額外為主機購買光纖通道卡,還要買光纖交換機,造價成本高。

2、主機之間的數據無法共享,在伺服器不做集群的情況下,塊存儲裸盤映射給主機,再格式化使用後,對於主機來說相當於本地盤,那麼主機A的本地盤根本不能給主機B去使用,無法共享數據。

3、不利於不同操作系統主機間的數據共享:另外一個原因是因為操作系統使用不同的文件系統,格式化完之後,不同文件系統間的數據是共享不了的。例如一台裝了WIN7/XP,文件系統是FAT32/NTFS,而Linux是EXT4,EXT4是無法識別NTFS的文件系統的。就像一隻NTFS格式的U盤,插進Linux的筆記本,根本無法識別出來。所以不利於文件共享。


【文件存儲】

典型設備:FTP、NFS伺服器

為了克服上述文件無法共享的問題,所以有了文件存儲。

文件存儲也有軟硬一體化的設備,但是其實普通拿一台伺服器/筆記本,只要裝上合適的操作系統與軟體,就可以架設FTP與NFS服務了,架上該類服務之後的伺服器,就是文件存儲的一種了。

主機A可以直接對文件存儲進行文件的上傳下載,與塊存儲不同,主機A是不需要再對文件存儲進行格式化的,因為文件管理功能已經由文件存儲自己搞定了。

優點:

1、造價交低:隨便一台機器就可以了,另外普通乙太網就可以,根本不需要專用的SAN網路,所以造價低。

2、方便文件共享:例如主機A(WIN7,NTFS文件系統),主機B(Linux,EXT4文件系統),想互拷一部電影,本來不行。加了個主機C(NFS伺服器),然後可以先A拷到C,再C拷到B就OK了。(例子比較膚淺,請見諒……)

缺點:

讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1台伺服器裡面的硬碟來承擔,相比起磁碟陣列動不動就幾十上百塊硬碟同時讀寫,速率慢了許多。


【對象存儲】

典型設備:內置大容量硬碟的分布式伺服器

對象存儲最常用的方案,就是多台伺服器內置大容量硬碟,再裝上對象存儲軟體,然後再額外搞幾台服務作為管理節點,安裝上對象存儲管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。

之所以出現了對象存儲這種東西,是為了克服塊存儲與文件存儲各自的缺點,發揚它倆各自的優點。簡單來說塊存儲讀寫快,不利於共享,文件存儲讀寫慢,利於共享。能否弄一個讀寫快,利 於共享的出來呢。於是就有了對象存儲。

首先,一個文件包含了了屬性(術語叫metadata,元數據,例如該文件的大小、修改時間、存儲路徑等)以及內容(以下簡稱數據)。

以往像FAT32這種文件系統,是直接將一份文件的數據與metadata一起存儲的,存儲過程先將文件按照文件系統的最小塊大小來打散(如4M的文件,假設文件系統要求一個塊4K,那麼就將文件打散成為1000個小塊),再寫進硬碟裡面,過程中沒有區分數據/metadata的。而每個塊最後會告知你下一個要讀取的塊的地址,然後一直這樣順序地按圖索驥,最後完成整份文件的所有塊的讀取。

這種情況下讀寫速率很慢,因為就算你有100個機械手臂在讀寫,但是由於你只有讀取到第一個塊,才能知道下一個塊在哪裡,其實相當於只能有1個機械手臂在實際工作。

而對象存儲則將元數據獨立了出來,控制節點叫元數據伺服器(伺服器+對象存儲管理軟體),裡面主要負責存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息),而其他負責存儲數據的分布式伺服器叫做OSD,主要負責存儲文件的數據部分。當用戶訪問對象,會先訪問元數據伺服器,元數據伺服器只負責反饋對象存儲在哪些OSD,假設反饋文件A存儲在B、C、D三台OSD,那麼用戶就會再次直接訪問3台OSD伺服器去讀取數據。

這時候由於是3台OSD同時對外傳輸數據,所以傳輸的速度就加快了。當OSD伺服器數量越多,這種讀寫速度的提升就越大,通過此種方式,實現了讀寫快的目的。

另一方面,對象存儲軟體是有專門的文件系統的,所以OSD對外又相當於文件伺服器,那麼就不存在文件共享方面的困難了,也解決了文件共享方面的問題。

所以對象存儲的出現,很好地結合了塊存儲與文件存儲的優點。

最後為什麼對象存儲兼具塊存儲與文件存儲的好處,還要使用塊存儲或文件存儲呢?

1、有一類應用是需要存儲直接裸盤映射的,例如資料庫。因為資料庫需要存儲裸盤映射給自己後,再根據自己的資料庫文件系統來對裸盤進行格式化的,所以是不能夠採用其他已經被格式化為某種文件系統的存儲的。此類應用更適合使用塊存儲。

2、對象存儲的成本比起普通的文件存儲還是較高,需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量,只是為了做文件共享的時候,直接用文件存儲的形式好了,性價比高。

⑵ 24個硬碟做raid-6,做文件伺服器,其中有幾個盤是真正存儲的

每個盤都是真正存儲的,數據是平均備份在第個盤的。
最大存儲容量是N-2也就是22個盤的容量。

⑶ 百度網盤伺服器是不是有很多塊硬碟,百度那麼多數據要用多少塊硬碟來存儲呢

簡單的理解,雲存儲就是一大堆存儲設備通過互動式應用和集群技術整合在一起,通過一個統一的界面給用戶提供存儲服務。

至於你說的那個重復文件的刪除技術,我不是太了解雲裡面是如何操作的,不過很多公司區域網已經大量使用了類似的技術。比如windows 2012裡面就有類似的功能,把一個文件分成若干大小不等的快,重復的就刪除掉,我公司的文件伺服器通過這種方式可以節約35%以上的磁碟空間。

本帖最近評分記錄

灰色渡鶴影

文章來源:
http://www.hu.com/question/21591490

我想要為每個用戶提供 1G 的網路存儲空間。

如果伺服器上有一顆 1000G 的硬碟可以全部為用戶提供數據儲存,如果每個用戶分配 1G 的最大儲存空間,那麼能非配給多少個用戶使用呢?

你一定說是 1000/1=1000 個用戶。

但事實上你這么分配了,你會發現每個用戶平時根本不會上傳 1G 的東西將容量占的漫漫的,有多又少,但平均用戶平時只上傳 50M 的文件,也就是說,你將 1000G 的硬碟分給 1000個 人使用,但只有效利用了其中的 50M*1000=50G 的空間,剩餘 950G 的空間基本都完全浪費了。

那麼怎麼解決呢?

你可以變通一下,將這 1000G 的空間分配給 20000個 用戶使用,每個人的上傳上限容量還是 1G,但每人平時還是平均上傳 50M 的數據,那麼 20000*50M=1000G,這下子就把寶貴的伺服器上的存儲空間充分利用了。但你又怕這樣分配給 20000個 人後,萬一某一刻人們突然多上傳點數據,那麼用戶不是就覺察出來你分給人家的 1G 空間是假的了嗎?所以可以不分配那麼多人,只分配給 19000 人,剩下一些空間做應急之用。

突然發現一下子將可分配的用戶數量翻了 19倍啊,了不起。那還有買有辦法更加有效的利用一下呢?

如果我有 1000個 以上的伺服器,一個伺服器上有 1000G 空間,那麼我們個伺服器上都要留下 50G 的空白空間以備用戶突然上傳大數據時導致數據塞滿的情況,呢么我這 1000個伺服器上就空出了 1000台*50G=50000G 的空間被浪費了,所么可惜。所以我們發明了計存儲集群,使得一個用戶的數據可以被分配在多個伺服器上存儲,但在用戶那看起來只是一個 1G 的連續空間,那麼就沒必要在每個伺服器上預留出應急的空間了,甚至可以充分的將前一個伺服器塞滿後,在將數據往下一個伺服器中塞。這樣保證了伺服器空間的最大利用,如果某一刻管理員發現用戶都在瘋狂上傳數據(在一個大規模用戶群下,這樣的概率少之又少)導致我現有提供的空間不夠了,沒關系,只需要隨手加幾塊硬碟或者伺服器就解決了。

好吧,這下子我們的伺服器空間利用高多了,可以將一定量的空間分配給最多的用戶使用了。但有沒有更好的改進方案呢?

管理員有一天發現,即使每個用戶平局下來只存儲 50M 的東西,但這 50M 也不是一蹴而就的,是隨著1-2年的使用慢慢的達到這個數量的,也就是說,一個新的用戶剛剛注冊我的網路空間時,不會上傳東西,或者只上傳一點非常小的東西。那麼我為每一個用戶都初始分配了 50M 的空間,即使將來2年後他們會填滿這 50M ,但這期間的這空間就有很多時浪費的啊。所以聰明的工程師說:既然我們可以分布式、集群式存儲,一個用戶的數據可以分布在多個伺服器上,那麼我們就假設一開始就給一個新注冊的用戶提供 0M 的空間,將來他用多少,我就給他提供多少存儲空間,這樣就徹底的保證硬碟的利用了。但用戶的前端還是要顯示 1G 的。

工程師的這個點子,使得我在建立網盤初期能用 1台 1000G 的伺服器提供了大約 1000000 人來注冊和使用,隨著注冊的人多了,我也有錢了,也可以不斷增加伺服器以提供他們後期的存貯了。同時因為一部分伺服器完了一年多購買,我的購買成本也下來了。

那麼...這結束了嗎?若是郵箱提供商的話,這樣的利用率夠高了。但網盤就不一樣了。


聰明的工程師發現:不同於郵箱,大家的內容的附件絕大多數都是自創的和不同的。但網盤上大家上傳的東西很多都是重復的。

比如:張三 今天下載了一部《TOKYO HOT》上傳上傳到了自己的網盤上,李四在三天後也下載了一模一樣的《TOKYO HOT》上傳到了網路硬碟上,隨著用戶的增多,你會發現總計有 1000個人 上傳了 1000份 一模一樣的文件到你寶貴的伺服器空間上,所以工程師想出一個辦法,既然是一樣的文件,我就只存一份不久好啦,然後在用戶的前端顯示是沒人都有一份不久行啦。當某些用戶要刪除這個文件的時候,我並不真的刪除,只需要在前端顯示似乎刪除了,但後端一直保留著以供其他擁有此文件的用戶下載。直到所有使用此文件的用戶都刪除了這個文件我再真的將其刪除吧。

這樣子隨著存儲的數據越來越多,注冊的用戶越來越多,其上傳的重復數據越來越多。你發現這樣的檢測重復文件存儲的效率越來越大。這樣算下來似乎每個人上傳的不重復的文件只能平均 1M/用戶。這下子你可以提供超過 50倍 的用戶使用您這有限的空間了。

但伴隨這使用,你又發現一個規律:

張三上傳的《TOKYO HOT N0124》和李四上傳的《TH n124》是同一個文件,只不過文件名不一樣,難道我就不能識別出他們是一個文件,然後只將其分別給不同的用戶保存成不同的文件名不久行啦?確實可行,但這要利用一些識別文件相同性的演算法,例如 MD5 值等。只要兩個文件的 MD5 值一樣,文件大小一樣,我就認為它們是相同的文件,只需要保存一份文件並給不同的用戶記作不同的文件名就好了。

有一天你發現,因為每一個文件都需要計算 MD5 值,導致 CPU 負荷很大,而且本來一樣的文件非要浪費帶寬上傳回來才可以檢測一致性,能改進一下嗎?

聰明的工程師寫了個小軟體/.小插件,美其名曰「上傳控制項」,將計算 MD5 的工作利用這個軟體交給了上傳用戶的點老來完成,一旦計算出用戶要上傳的數據和伺服器上已經存儲的某個數據是一樣的,就乾脆不用上傳了,直接在用戶那裡標記上這個文件已經按照 XX 文件名上傳成功了。這個過程幾乎是瞬間搞定了,並給其起了個高富帥的名字「秒傳」!


通過以上這么多步驟,你發現本來你只能給 1000用戶 提供網路空間的,這么多改進辦法後,在用戶端顯示 1G 空間不變的情況下,近乎可以為 1000000個用戶 提供網路空間了。

這樣若是您哪天心情好,對外宣傳說:我要將每個用戶的存儲空間上限提升到 1TB。那麼每個用戶平均還是只上傳 50M 數據,只有極個別極個別的用戶上傳了突破 1G 原始空間的數據,你會發現所付出的成本近乎是微乎其微的。

⑷ 伺服器硬碟存儲

如果你做是RAID1,再加上2個熱備盤是可以實現的。還有就是用賽門鐵克的BE備份軟體也可以。

⑸ 為什麼伺服器要好幾塊硬碟

1、容量大需要更多的存儲空間;

2、有備份磁碟,可防止內容丟失;

3、整個區域網內只有一個系統伺服器,可增加安全系數;

4、工作站的網卡特殊,例如內存,不執行存儲;』

5、硬碟是用於本地永久存儲數據的一種介質,一台電腦必須藉助硬碟才能存儲文件,是所有電腦設計規范之一。

⑹ 雲儲存的數據在伺服器硬碟上是如何存儲的

數據都是放在磁碟陣列上的而不是伺服器硬碟上。
硬碟陣列不是技術,是一個實實在在的東西,可以理解成一大堆硬碟組成的陣列設備。
雲存儲是現在流行的概念,靠虛擬化和集群技術整合以前的存儲,從而使可利用磁碟容量變得很大

⑺ 關於兩塊或多塊硬碟一次性同時或分別儲存的問題

說了半天才明白,最關鍵的是,你這台伺服器是否支持RAID,如果支持就好辦了,250G硬碟兒成RAID0,用來安裝系統。另兩塊完全相同的硬碟作成RAID1,這樣對你的數據就安全了,RAID1簡單說是兩塊盤當一塊用,存儲的是完全相同的內容,也既映像方式存貯,其中一塊完全壞掉了,另一塊照樣撐著,不會造成數據損壞,但必須盡快再加上一塊相同的空硬碟,RAID會自動恢復數據到新盤。如果伺服器沒有硬體RAID,可以考慮用軟體RAID,軟體的我沒用過,你可以網上搜索,帖子不少。

⑻ 一台舊的伺服器給加了幾塊硬碟,想把它做成存儲伺服器想讓內網裡面的人都可以訪問、上傳、下載,怎麼實施

最簡單的方法:

在伺服器上,要共享的磁碟上,右鍵 共享
區域網用戶,可以在網上鄰居里找到伺服器

高級一點的,用serverU建個ftp伺服器,設置好許可權後,將ip地址和賬號密碼,發布給用戶

推薦你,建立ftp伺服器,安全性有保障,而且許可權設置很靈活

⑼ 如何正確使用伺服器數據存儲,做到避免數據丟失呢

二、除了Raid硬碟容錯外,對於一些非常重要的數據要使用其它設備時時進行備份,推薦企業用戶、商務用戶架構的網路伺服器,選用磁帶機配合專業備份軟體(VeritasNetbackup、CAArcserver),定期定時做相對完善的備份方案。如果是個人用戶的話,建議採用經濟的CD-ROM/DVD光碟做為備份方式。 三、對於一些簡單的誤刪除或格式化,針對文件不多,個人技術不錯的情況下,可在網上下載一些恢復軟體(DataRecove,Easyrecove等)嘗試來進行恢得,當然,做之前可以先用Ghost軟體做個磁碟全備份,同時在恢復時最好是接從盤。當然,如果你個人恢復的結果不滿意,請需要尋求專業的數據恢復公司進行操作了。 四、如果發現伺服器數據丟失,千成不要再盲目操作,減小數據恢復機率。可通過電話尋找正規的數據恢復公司技術支持,聽取專有建議或請專業技術人員檢查。此時,你可以關機停止硬碟讀寫數據。不再往丟失數據的分區或硬碟里寫入數據。減少二次破壞。 五、時刻注意伺服器硬碟的運行狀況,對於伺服器硬碟指示燈多多觀察。一般來講,伺服器外觀都有每一塊硬碟指示燈,正常情況下一般會是綠色,指示燈出現特殊情況時,就需要採用相關措施,仔細檢查硬碟設備是否正常。Examw提示: 一旦硬碟受損或數據丟失,請不要驚謊,一定要保持冷靜的頭腦。以下是關於計算機常見硬碟故障情況與用戶採用的建議措施: 1、硬碟受損或數據丟失: 1)硬碟出現異聲,此時磁頭已不正常定址,為防止打傷盤體,需立即斷電不可拆解硬碟,需交有超凈間的專業公司拆開檢查; 2)BIOS不認盤,找不到硬碟,先請計算機工程師仔細檢察,需先告知內有重要數據,需小心處理。以免再次被誤操作而導致硬碟損傷。 2、硬碟正常但突然讀不到數據: 1)勿執行重建分區表或格式化等會破壞數據的動作,雖然還有救,但已無法100%救回所有數據,萬一受損是重要的文件就得不償失; 2)先判斷正確,勿任意重裝Windows操作系統或用恢復盤進行操作,很容易將數據區覆蓋,而且通常覆蓋區是幾百M計算; 3)引導時如自動執行Scandisk、Vrepair時,請按Esc或空格鍵取消動作,先檢查出受損原因,以免內部檔案遭大量破壞。 六、當然,如果確認伺服器數據硬碟存在特理故障時,需要進行開盤處理時!這個時候,選擇一家專業的數據恢復公司變得非常重要。目前,數據恢復由於技術門檻含量高,相對於一般的計算機維修公司來講要少,但少並不代表沒有。一些技術實力差、環境有限、甚至一些只管接單再轉其它公司操作的JS隨處可見!這個時候,請需要仔細識別。避免上當受騙,造成無法估算的後期損失。

⑽ 伺服器和雲儲存是用什麼儲存大量數據的

存儲介質肯定還是硬碟了,2TB或者3TB的SATA硬碟目前還是主流。不過現在也有部分存儲硬體提供商採用固態硬碟構建全快閃記憶體陣列,可以提供非常高的傳輸速度和非常高的隨機I/O,當然價格也是不菲。

閱讀全文

與伺服器幾塊硬碟如何存儲數據的相關的資料

熱點內容
cad顯示順序的命令 瀏覽:189
飛度pdf 瀏覽:177
聚尚美app在哪裡 瀏覽:988
退出全局命令 瀏覽:648
node命令退出 瀏覽:817
我的世界怎麼做有工會的伺服器 瀏覽:384
程序員達到 瀏覽:81
萬維網如何查看遠程伺服器賬號 瀏覽:60
怎麼報程序員培訓班 瀏覽:959
怎麼幫男朋友解壓緩解焦慮 瀏覽:568
java程序員用什麼瀏覽器 瀏覽:786
禪詩pdf 瀏覽:629
cprimer英文pdf 瀏覽:241
兩位數乘以兩位數的減編演算法 瀏覽:461
選了程序員有錯嗎 瀏覽:490
起點app怎麼加密 瀏覽:104
安卓如何設計界面 瀏覽:878
工商銀行app如何查詢歷史賬單 瀏覽:45
火鳥門戶源碼版多少錢 瀏覽:277
做解壓的解壓球 瀏覽:567