雲存儲

來自 網絡 的圖片

雲存儲是一種網上在線存儲（英語：Cloud storage）的模式，即把數據存放在通常由第三方託管的多台虛擬服務器，而非專屬的服務器上。託管（hosting）公司運營大型的數據中心，需要數據存儲託管的人，則通過向其購買或租賃存儲空間的方式，來滿足數據存儲的需求。數據中心營運商根據客戶的需求，在後端準備存儲虛擬化的資源，並將其以存儲資源池（storage pool）的方式提供，客戶便可自行使用此存儲資源池來存放文件或對象。實際上，這些資源可能被分布在眾多的服務器主機上。

雲存儲這項服務乃通過Web服務應用程序接口（API）, 或是通過Web化的用戶界面來訪問。

目錄

工作原理

雲存儲是在雲計算(cloud computing)概念上延伸和衍生髮展出來的一個新的概念。雲計算是分布式處理(Distributed Computing)、並行處理(Parallel Computing)和網格計算(Grid Computing)的發展，是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多部服務器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。通過雲計算技術，網絡服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和」超級計算機」同樣強大的網絡服務。

雲存儲的概念與雲計算類似，它是指通過集群應用、網格技術或分布式文件系統等功能，網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統，保證數據的安全性，並節約存儲空間。簡單來說，雲存儲就是將儲存資源放到雲上供人存取的一種新興方案。使用者可以在任何時間、任何地方，通過任何可連網的裝置連接到雲上方便地存取數據。如果這樣解釋還是難以理解，那我們可以借用廣域網和互聯網的結構來解釋雲存儲。

網絡結構

相信大家對局域網、廣域網和互聯網都已經非常了解了。在常見的局域網系統中，我們為了能更好地使用局域網，一般來講，使用者需要非常清楚地知道網絡中每一個軟硬件的型號和配置，比如採用什麼型號交換機，有多少個端口，採用了什麼路由器和防火牆，分別是如何設置的。

系統中有多少個服務器，分別安裝了什麼操作系統和軟件。各設備之間採用什麼類型的連接線纜，分配了什麼IP地址和子網掩碼。

但當我們使用廣域網和互聯網時，我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連接到廣域網和互聯網，並不需要知道廣域網和互聯網中到底有多少台交換機、路由器、防火牆和服務器，不需要知道數據是通過什麼樣的路由到達我們的電腦，也不需要知道網絡中的服務器分別安裝了什麼軟件，更不需要知道網絡中各設備之間採用了什麼樣的連接線纜和端口。廣域網和互聯網對於具體的使用者是完全透明的，我們經常用一個雲狀的圖形來表示廣域網和互聯網，如圖1：

雖然這個雲圖包含了許許多多的交換機、路由器、防火牆和服務器，但對具體的廣域網、互聯網用戶來講，這些都是不需要知道的。這個雲狀圖形代表的是廣域網和互聯網帶給大家的互聯互通的網絡服務，無論我們在任何地方，都可以通過一個網絡接入線纜和一個用戶、密碼，就可以接入廣域網和互聯網，享受網絡帶給我們的服務。

參考雲狀的網絡結構，創建一個新型的雲狀結構的存儲系統，這個存儲系統由多個存儲設備組成，通過集群功能、分布式文件系統或類似網格計算等功能聯合起來協同工作，並通過一定的應用軟件或應用接口，對用戶提供一定類型的存儲服務和訪問服務。

當我們使用某一個獨立的存儲設備時，我們必須非常清楚這個存儲設備是什麼型號，什麼接口和傳輸協議，必須清楚地知道存儲系統中有多少塊磁盤，分別是什麼型號、多大容量，必須清楚存儲設備和服務器之間採用什麼樣的連接線纜。為了保證數據安全和業務的連續性，我們還需要建立相應的數據備份系統和容災系統。除此之外，對存儲設備進行定期地狀態監控、維護、軟硬件更新和升級也是必須的。如果採用雲存儲，那麼上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的，任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連接，對雲存儲進行數據訪問。

結構模型

存儲層

存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。雲存儲中的存儲設備往往數量龐大且分布於不同地域。彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。

存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗餘管理，以及硬件設備的狀態監控和故障維護。

基礎管理層

基礎管理層是雲存儲最核心的部分，也是雲存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現雲存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，並提供更大更強更好的數據訪問性能。

CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術和措施可以保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。

應用接口層

應用接口層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平台、IPTV和視頻點播應用平台、網絡硬盤應用平台，遠程數據備份應用平台等。

訪問層

任何一個授權用戶都可以通過標準的公用應用接口來登錄雲存儲系統，享受雲存儲服務。雲存儲運營單位不同，雲存儲提供的訪問類型和訪問手段也不同。

雲存儲不是存儲，而是服務

就如同雲狀的廣域網和互聯網一樣，雲存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用雲存儲，並不是使用某一個存儲設備，而是使用整個雲存儲系統帶來的一種數據訪問服務。所以嚴格來講，雲存儲不是存儲，而是一種服務。

雲存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變。

實現前提

一、寬帶網絡的發展

真正的雲存儲系統將會是一個多區域分布、遍布全國、甚至於遍布全球的龐大公用系統，使用者需要通過ADSL、DDN等寬帶接入設備來連接雲存儲。只有寬帶網絡得到充足的發展，使用者才有可能獲得足夠大的數據傳輸帶寬，實現大量容量數據的傳輸，真正享受到雲存儲服務，否則只能是空談。

二、WEB2.0技術

Web2.0技術的核心是分享。只有通過web2.0技術，雲存儲的使用者才有可能通過PC、手機、移動多媒體等多種設備，實現數據、文檔、圖片和視音頻等內容的集中存儲和資料共享。

三、應用存儲的發展

雲存儲不僅僅是存儲，更多的是應用。應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備，它不僅具有數據存儲功能，還具有應用軟件功能，可以看作是服務器和存儲設備的集合體。應用存儲技術的發展可以大量減少雲存儲中服務器的數量，從而降低系統建設成本，減少系統中由服務器造成單點故障和性能瓶頸，減少數據傳輸環節，提供系統性能和效率，保證整個系統的高效穩定運行。

四、集群技術、網格技術和分布式文件系統

雲存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體，任何一個單點的存儲系統都不是雲存儲。

既然是由多個存儲設備構成的，不同存儲設備之間就需要通過集群技術、分布式文件系統和網格計算等技術，實現多個存儲設備之間的協同工作，多個存儲設備可以對外提供同一種服務，提供更大更強更好的數據訪問性能。如果沒有這些技術的存在，雲存儲就不可能真正實現，所謂的雲存儲只能是一個一個的獨立系統，不能形成雲狀結構。

五、CDN內容分發、P2P技術、數據壓縮技術

CDN內容分發、P2P技術、數據壓縮技術、重複數據刪除技術、數據加密技術

CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。如果雲存儲中的數據安全得不到保證，想來也沒有人敢用雲存儲，否則，保存的數據不是很快丟失了，就是全國人民都知道了。

六、存儲虛擬化技術、存儲網絡化管理技術

雲存儲中的存儲設備數量龐大且分布多在不同地域，如何實現不同廠商、不同型號甚至於不同類型（如FC存儲和IP存儲）的多台設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題，這個問題得不到解決，存儲設備就會是整個雲存儲系統的性能瓶頸，結構上也無法形成一個整體，而且還會帶來後期容量和性能擴展難等問題。

雲存儲中的存儲設備數量龐大、分布地域廣造成的另外一個問題就是存儲設備運營管理問題。雖然這些問題對雲存儲的使用者來講根本不需要關心，但對於雲存儲的運營單位來講，卻必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此，雲存儲必須要具有一個高效的類似與網絡管理軟件一樣的集中管理平台，可實現雲存儲系統中所有存儲設備、服務器和網絡設備的集中管理和狀態監控。

架構

架構方法分為兩類：一種是通過服務來架構;另一種是通過軟件或硬件設備來架構。

傳統的系統利用緊耦合對稱架構，這種架構的設計旨在解決HPC(高性能計算、超級運算)問題，正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構，集中元數據和控制操作，這種架構並不非常適合高性能HPC，但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下：

緊耦合對稱(TCS)架構

構建TCS系統是為了解決單一文件性能所面臨的挑戰，這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲，因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品，很多節點同時伴隨着分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效，幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進，需要一定程度的技術經驗才能安裝和使用。

鬆弛耦合非對稱(LCA)架構

LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作，而是利用一個數據路徑之外的中央元數據控制服務器。集中控制提供了很多好處，允許進行新層次的擴展：

●存儲節點可以將重點放在提供讀寫服務的要求上，而不需要來自網絡節點的確認信息。

●節點可以利用不同的商品硬件CPU和存儲配置，而且仍然在雲存儲中發揮作用。

●用戶可以通過利用硬件性能或虛擬化實例來調整雲存儲。

●消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要，如光纖通道或infiniband，從而進一步降低成本。

●異構硬件的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲，同時還能提供永久的數據可用性。

●擁有集中元數據意味着，存儲節點可以旋轉地進行深層次應用程序歸檔，而且在控制節點上，元數據經常都是可用的。

功能

雲存儲提供的諸多功能和性能旨在滿足伴隨海量非活動數據的增長而帶來的存儲難題：

·隨着容量增長，線性地擴展性能和存取速度。

·將數據存儲按需遷移到分布式的物理站點。

·確保數據存儲的高度適配性和自我修復能力，可以保存多年之久。

·確保多租戶環境下的私密性和安全性。

·允許用戶基於策略和服務模式按需擴展性能和容量。

·改變了存儲購買模式，只收取實際使用的存儲費用，而非按照所有的存儲系統，包含未使用的存儲容量，來收取費用。

·結束顛覆式的技術升級和數據遷移工作。

優點

(1)存儲管理可以實現自動化和智能化，所有的存儲資源被整合到一起，客戶看到的是單一存儲空間；

(2)提高了存儲效率，通過虛擬化技術解決了存儲空間的浪費，可以自動重新分配數據，提高了存儲空間的利用率，同時具備負載均衡、故障冗餘功能;

(3)雲存儲能夠實現規模效應和彈性擴展，降低運營成本，避免資源浪費；

雲存儲技術在安防領域應用存在的問題

受限於安防視頻監控自身業務的特點，監控雲存儲和現有互聯網雲計算模型會有區別，如安防用戶傾向於視頻信息存儲在本地、政府視頻監控應用比較敏感、視頻信息的隱私問題、視頻監控對網絡帶寬消耗較大等問題。

主要用途

雲存儲通常意味着把主數據或備份數據放到企業外部不確定的存儲池裡，而不是放到本地數據中心或專用遠程站點。支持者們認為，如果使用雲存儲服務，企業機構就能節省投資費用，簡化複雜的設置和管理任務，把數據放在雲中還便於從更多的地方訪問數據。

數據備份、歸檔和災難恢復是雲存儲可能的三個用途。

「雲的出現主要用於任何種類的靜態類型數據的任何種類的大規模存儲需求。」「你不想在雲中存儲數據庫，但是你可能想在雲中存儲你的數據庫的一個歷史的副本，而不是將其存儲在很昂貴的SAN或NAS技術中。」

「一個好的概測法是將雲看作是只能用於延遲性應用的雲存儲。」「備份，歸檔和批量文件數據可以在雲中很好地處理，因為可以允許幾秒的延遲響應時間。」另一方面，她指出，由於延遲的存在，數據庫和「性能敏感」的任何其數據不適用於雲存儲。

但是在將數據遷移至雲中之前，無論是公共雲還是私有雲，用戶都需要解決一個更加根本的問題。

「如果你進入雲存儲，你能明白存儲空間的增長在哪裡失去控制，或者為什麼會失去控制麼，以及在整個端到端的業務流程中存儲特殊的一組數據的時候，價值點是什麼?僅僅將技術遷移到雲中並不是最佳的解決方案。」

減少工作和費用是預計雲服務在接下來幾年會持續增長的一個主要原因。據研究公司IDC聲稱，全球IT開支當中有4%用於雲服務；到2012年，這個比例會達到9%。由於成本和空間方面的壓力，數據存儲非常適合使用雲解決方案；IDC預測，在這同一期間，雲存儲在雲服務開支中的比重會從8%增加到13%。