機房建置,軟件定義的分佈式存儲

機房建置,目前我們正處於一個新的時代,這個時代被賦予了許多標籤:互聯網+時,代雲計算時代,大數據時,代人工智能時代。

當前時代的它系統架構伴隨着軟件定義的發展,正發生着巨大的變化,作爲這架構核心數據保險箱的存儲單元正在面臨着前所未有的挑戰。前端業務應用規模從數據量、性能,安全性以及應用類型上都有了成倍的增長,傳統的存儲設備和解決方案很難滿足這種大規模應用場景的需求。不同的應用場景產生的數據類型及訪問數據的IO模型各不相同,採用軟件定義的分佈式存儲解決方案可以更好的應對目前的挑戰。
首先,我們需要知道什麼是分佈式存儲?
分佈式存儲
分佈式存儲是軟件定義存儲解決方案的實現,它是通過軟件將硬件進行抽象化管理,將集羣全部的CPU資源,內存資源,硬盤資源,網絡資源等進行池化,組合成統一資源池,然後通過簡單友好的管理界面或API提供給用戶個性化的存儲解決方案。
軟件定義存儲解決方案可以使生產系統在線運行的情況下進行縱向擴展(擴大)或橫向擴展(擴展),且存儲系統在擴展後可以達到容量與性能均線性擴展的效果。其具有以下特性:
高性能
分佈式存儲系統能夠將所有存儲節點的處理器資源,硬盤資源,網絡資源進行整合,將任務切分給多臺存儲節點,進行併發數據處理,避免了單個硬盤或設備造成的瓶頸,提升整個集羣的處理能力。分佈式存儲系統具有良好的性能擴展能力,可以滿足應用程序對存儲性能不斷增長的要求。
高擴展性
分佈式存儲系統通過擴展集羣存儲節點規模從而提高系統存儲容量,計算和性能的能力,通過增加和升級服務器硬件,或者指通過增加存儲節點數量來提升服務能力。分佈式存儲系統支持在線增加存儲節點,對前端業務透明,系統整體性能與存儲節點數量呈線性關係。
高可用性
分佈式存儲系統同時基於硬件及軟件設計了高可用機制,在面對多種異常時(如存儲節點宕機,網絡中斷,硬盤故障,數據損壞等)仍可提供正常服務,提高分佈式存儲系統硬件的可用性可以通過增加存儲節點數量或者採用多種硬件冗餘機制保證。分佈式存儲系統多采用副本機制或糾刪碼機制保證數據的高可用性,副本機制可以提供較高的數據冗餘度,但會降低存儲系統有效空間的利用率,糾刪碼機制可以在保證一定數據冗餘度的情況下,大幅提高存儲系統的有效空間利用率。
高安全性
分佈式存儲系統支持可靠的權限控制及互信確認機制,同時採用私有的數據切片及數據編碼機制,可以從多重角度保證集羣系統不受惡意訪問和攻擊,保護存儲數據不被竊取。
分佈式的“四高”特性,使得其在高性能計算,大數據視頻雲及大數據分析等應用場景中有着廣泛的應用。
高性能計算場景
在如氣象氣候,地質勘探,航空航天,工程計算,材料工程等領域,基於集羣的高性能計算,已成爲必需的輔助工具。集羣系統有極強的伸縮性,可通過在集羣中增加或刪減節點的方式,在不影響原有應用與計算任務的情況下,隨時增加和降低系統的處理能力。根據不同的計算模式與規模,構成集羣系統的節點數可以從幾個到成千上萬個。這些業務對後端的存儲系統提出了新的需求,包括統一的存儲空間,高效率的文件檢索,高帶寬的吞吐性能,高可靠的數據安全保障等。
大數據視頻雲應用場景
隨着視頻高清技術及超高清技術的普及,視頻大數據應用場景,如雪亮工程,平安城市,廣電媒資,影視製作,視頻網站等領域,對存儲設備提出了大容量,高讀寫性能,高可靠性,低延時及可擴展性等需求。針對這樣大規模視頻數據應用場景,就需要一個技術先進,性能優越的存儲系統作爲後端數據存儲的支撐者。
大數據分析應用場景
伴隨着互聯網技術及人工智能的發展,各種基於海量用戶/數據/終端的大數據分析及人工智能業務模式不斷涌現,同樣需要充分考慮存儲功能集成度,數據安全性、數據穩定性,系統可擴展性,性能及成本各方面因素。
在數據爆發增長的“數字時代”,軟件定義的分佈式存儲是存儲技術高速發展的結晶,並具有着很大的成長空間,必將應用於更廣泛的大數據業務場景。