本文來自twt企業(yè)IT社區(qū),作者/晝者。
引言
安全、便捷和可拓展的數(shù)據存儲技術是發(fā)揮數(shù)據價值的前提條件。海量數(shù)據增長、業(yè)務需求迫切、運維難度加大等一系列現(xiàn)實問題對企業(yè)的數(shù)據存儲帶來了巨大的挑戰(zhàn)。軟件定義存儲作為主流的云存儲架構,其基于硬件解耦、軟件定義、彈性擴展、資源融合的核心架構思想,具備優(yōu)于傳統(tǒng)存儲架構的通用性、擴展性、性價比、一致性等相關特性,適用于需求快速更迭、空間收放頻繁、混合云和大數(shù)據集群等應用場景,為企業(yè)海量數(shù)據存儲應用提供了更多的技術選擇。
面對數(shù)據增長帶來的挑戰(zhàn),很多企業(yè)現(xiàn)有的FTP、NAS、Windows共享等存儲共享方式已逐漸難以滿足企業(yè)數(shù)據存儲和管理的業(yè)務需求。據IDC數(shù)據顯示,至2025年,全球創(chuàng)建、獲取和復制的數(shù)據量將增至175ZB,其中,企業(yè)存儲的數(shù)據量將會占據全球總數(shù)據量80%以上。這一數(shù)據表明企業(yè)正迅速成為生產數(shù)據和管理數(shù)據的主要載體,加上目前我國正處于云計算的高速發(fā)展時期,企業(yè)上云成為必然趨勢。越來越多的企業(yè)選擇將日常辦公數(shù)據、備份數(shù)據、歸檔數(shù)據、靜態(tài)歷史數(shù)據等活動性不強的海量數(shù)據移入云存儲資源池甚至直接推向云端,靈活、便捷、可拓展的軟件定義存儲得到了更多企業(yè)的關注。
一、軟件定義存儲的現(xiàn)狀
(一)軟件定義存儲的定義
軟件定義存儲(SDS,Software Defined Storage)是指存儲資源由軟件自動控制,通過抽象、池化和自動化等一系列處理后,將標準服務器的內置存儲、直連存儲,外置存儲,或者云存儲等資源整合起來,實現(xiàn)應用無感知或者基于策略驅動的自動化部署、變更和管理,最終達到存儲即服務的目標。
軟件定義的思想最初來源于軟件定義網絡(SDN),軟件定義存儲的架構核心思想在于硬件解耦、軟件定義、彈性擴展、資源融合。
1、硬件解耦。軟件定義存儲拋棄了專用定制的存儲硬件產品,采用標準的通用硬件平臺,使存儲的發(fā)展擺脫了硬件廠商的綁定,大大降低了存儲部署的復雜性和成本。
2、軟件定義。存儲功能的實現(xiàn)完全依賴于軟件組件,而與硬件無關,這樣天然為云計算管理平臺實現(xiàn)對存儲資源的自動化調度管理和用戶自服務提供了可能性。同時在架構上實現(xiàn)了軟件自愈性,只要系統(tǒng)可用容量具備,存儲系統(tǒng)的組件故障就可以被自主修復。
3、彈性擴展。軟件定義存儲的分布式架構決定了存儲系統(tǒng)可以按照資源池化管理,系統(tǒng)可以根據實際的容量和性能需求進行部署,同時伴隨需求的變化而靈活擴展。
4、資源融合。軟件定義存儲在實際市場應用中結合需求進一步拓展了技術外延。如超融合架構將存儲資源與計算資源進行了融合,為客戶帶來更加靈活便捷的基礎服務能力。未來可能與網絡資源進行融合,將整個基礎架構的硬件資源完全模塊化。
(二)軟件定義存儲的發(fā)展現(xiàn)狀
根據IDC發(fā)布的2020年前三個季度中國存儲市場統(tǒng)計數(shù)據,SDS替代傳統(tǒng)存儲的步伐開始加速。
在報告期間,整個中國存儲市場,各存儲類別份額變化較大。傳統(tǒng)企業(yè)存儲系統(tǒng)TESS,市場份額從65.4%下降到59.2%,失去6.2%份額;超融合HCI,市場份額從17.4%增長到18.6%,增長1.2個百分點;軟件定義存儲SDS,市場份額從17.2%增長到22.2%,增長了5個百分點。
從統(tǒng)計信息看出,傳統(tǒng)存儲失去的份額,分別被SDS與HCI搶占了80%與20%。從絕對份額來看,SDS是22.2%,而HCI是18.6%,說明SDS市場空間相較HCI更大。
SDS的增幅最高。SDS在2020年前三個季度的整體漲幅是47.1%,其中20Q3出現(xiàn)井噴行情,市場增幅高達62.3%。
從SDS行業(yè)使用情況來看,政府、電信、金融是其使用量的TOP3行業(yè)。金融行業(yè)雖然偏保守,但采用SDS的形態(tài)企業(yè)在增多,特別是對象存儲,在幫助金融創(chuàng)新方面發(fā)揮了諸多作用。而且,2020年金融行業(yè)也超過了教育行業(yè),進入前三。
二、技術優(yōu)勢及適用場景
(一)軟件定義存儲的技術優(yōu)勢
基于軟件定義存儲的設計理念及其所采用的技術線路,相對傳統(tǒng)存儲架構方案主要存在以下技術優(yōu)勢。
1、硬件通用。使用X86服務器、SSD磁盤等通用硬件,消除了硬件鎖定帶來的問題,靈活性強;
2、良好的擴展性??梢酝ㄟ^增加存儲服務器的方式便捷拓展,適應數(shù)據量不斷增加的業(yè)務需求;
3、低成本。用普通X86服務器代替了專用存儲硬件,大大降低了投入成本。
4、高性能。相較于傳統(tǒng)存儲架構,軟件定義存儲架構由多個存儲服務器共同承擔負載,所以擁有更高的性能,能滿足高性能需求;
5、多副本的一致性。多副本備份機制在讀取數(shù)據失敗的時候,能通過其他副本恢復的數(shù)據恢復原副本,從而保證副本的總數(shù)固定;
6、自動化程度高。通過簡化管理,降低存儲基礎架構的運維開銷;
7、標準接口。支持API管理、發(fā)布和運維設備和相對應的服務;
8、虛擬化數(shù)據路徑。支持多種標準協(xié)議,允許應用通過塊存儲,文件存儲或者對象存儲接口寫入數(shù)據;
9、透明度。為用戶提供管理和監(jiān)控存儲的可用源與開銷。提供方便易用的管理界面,實現(xiàn)存儲集群的靈活部署和監(jiān)控運維。集群系統(tǒng)可以靈活的增加和刪除節(jié)點,可以自動實現(xiàn)集群的故障恢復、數(shù)據均衡等功能,減低甚至無需人工干預。
軟件定義存儲既能提供塊存儲或者對象存儲服務,又可以和計算節(jié)點緊密結合,提供計算存儲的融合方案。在企業(yè)云架構實踐中,可以提供虛擬機精確控制、與應用高度整合高性能要求、與vSphere相同級別的應用和數(shù)據移動性、快速調配零停機操作、按需動態(tài)擴展、支持VDI和大數(shù)據等新應用等優(yōu)于傳統(tǒng)存儲產品的新特性。軟件定義存儲的興起,簡化了存儲的管理、降低了總擁有成本、實現(xiàn)了端到端的SLA交付,為解決云化數(shù)據中心當前所面臨的問題和挑戰(zhàn),提供了新的解決方案。
(二)軟件定義存儲的適用場景
在云化數(shù)據中心的管理中,軟件定義存儲可以最大程度地減少管理成本和管理工作,以滿足具有不可預測工作負載和/或動態(tài)工作負載的應用的性能需求。結合其技術特性和優(yōu)勢可以用于企業(yè)中以下各種真實的業(yè)務場景。
1、快速迭代的業(yè)務環(huán)境
隨著企業(yè)越來越多的參與市場活動,交互型系統(tǒng)顯得越來越重要,當系統(tǒng)不再僅限于后臺交易,越來越多的用戶活動加入,業(yè)務迭代的速度也將越來越快,對于存儲的靈活性要求越來越高,而且業(yè)務場景和壓力也不可預知,對于存儲的多個維度也提出了更高的要求。
2、涉及到大量存儲的新分回收的環(huán)境
傳統(tǒng)存儲領域,由于涉及到光纖布線,交換機ZONE劃分,存儲卷映射等復雜步驟操作,存儲的新分和回收流程相對復雜,且容易出現(xiàn)差錯。軟件定義存儲可以運用快速的部署和數(shù)據遷移能力,簡化了存儲的分配回收流程。
3、混合云存儲環(huán)境
在基礎設施云化的IT環(huán)境中,通用云管理平臺缺乏管理異構存儲平臺的能力,要實現(xiàn)存儲的虛擬化和自動化管理,要求實現(xiàn)存儲與主機的融合,從性能,敏捷度和自動化管理層面,軟件定義存儲為云環(huán)境提供企業(yè)的存儲創(chuàng)造了可能。
4、大數(shù)據集群
如果大數(shù)據例如Map-Reduce等集群計算方案解決了計算能力瓶頸,軟件定義存儲則為數(shù)據IO瓶頸開拓了新的疆域,Hadoop等大數(shù)據結合SDF相關技術,將大大加速基于持久化大數(shù)據的處理、運算和分析。
5、數(shù)據庫集群環(huán)境(例如MySQL)
開源生態(tài)下的數(shù)據庫環(huán)境,可以架設在軟件定義存儲環(huán)境之上,并有望通過定制優(yōu)化數(shù)據庫代碼,實現(xiàn)數(shù)據庫集群的低成本和高效訪問。
6、鍵值數(shù)據的分布式存儲業(yè)務
對于推薦系統(tǒng),搜索引擎等來說,分布式鍵值存儲的意義越來越重要,對存儲效率也提出了極高的要求。
7、災難備份/恢復環(huán)境
目前部分廠商的軟件定義存儲產品已經逐漸開始兼容與傳統(tǒng)存儲的災備連通,通過創(chuàng)建SDF與傳統(tǒng)存儲之間的容災關系實現(xiàn),借助存儲虛擬化工具,可以實現(xiàn)數(shù)據級的災備。同時也可以用來充當數(shù)據備份介質,實現(xiàn)數(shù)據的快速備份和恢復。
三、軟件定義存儲賦能業(yè)務發(fā)展
軟件定義存儲通過近幾年的快速發(fā)展,特別是在當前企業(yè)數(shù)字化轉型和云化建設的趨勢之下,其使用范圍不斷擴大,進一步賦能業(yè)務發(fā)展。以下將以某保險企業(yè)實際案例為例,介紹軟件定義存儲對現(xiàn)有存儲架構的優(yōu)化和提升。
(一)項目背景
保險企業(yè)對云對象存儲的需求主要來自業(yè)務系統(tǒng)和存儲運維管理。其中業(yè)務系統(tǒng)方面的需求主要包括影像系統(tǒng)后端存儲的升級改造、雙錄系統(tǒng)存儲建設。而運維對云對象存儲的需求則更傾向于存儲安全性、容量和性能擴展性以及存儲管理便捷性等方面。
(二)業(yè)務需求
在線票據影像場景主要處理小文件,實時性能要求較高,目前以集中式NAS建設為主。票據影像系統(tǒng)壓力場景在于處理海量文件歸檔,性能要求不高但容量增長較快。系統(tǒng)需存儲海量非結構化小文件,在線存儲成本高,容量有限,備份和恢復效率要求很高。
在業(yè)務特性方面,業(yè)務主要發(fā)生在白天6-8小時,上傳和查詢比為1:3;平均每交易產生10個文件,文件平均大小100-200KB;要求批量查詢耗時小于3秒;上傳業(yè)務以突發(fā)性(有一定周期性)寫為主(文件寫操作,有一定量的寫合并),4K和128K占較大比例;下載業(yè)務以持續(xù)較隨機讀為主,IO大小4K-32K。
在功能特性需求方面,需具備WORM、一體化備份、快照及遠程復制功能。
(三)解決方案
采用軟件定義存儲架構方案,對現(xiàn)有數(shù)據進行遷移整合,實現(xiàn)了項目預期目標。解決方案的物理架構如下:
邏輯架構如下:
(四)項目成效
軟件定義存儲的實施給企業(yè)現(xiàn)有的集中式SAN和NAS存儲帶來了更多的活力,是對傳統(tǒng)存儲架構的有效補充,增強了企業(yè)存儲系統(tǒng)應對日益變化的前端業(yè)務需求的靈活性。
由于軟件定義存儲產品普遍采用了商用x86硬件的分布式架構,因此較之于傳統(tǒng)集中式的存儲解決方案,這種新的平臺可以有更靈活的橫向在線擴展能力,從而可以輕松應對業(yè)務規(guī)模、數(shù)據量驟增帶來的后端存儲壓力。
另外在軟件定義存儲平臺解決了企業(yè)海量非結構化數(shù)據存儲需求的同時,通過其分布式架構天然具有的容災特性可以輕松構建跨多站點的災備方案。
再者,借助軟件定義存儲對文件多版本的支持以及比傳統(tǒng)存儲更高的可用性、可靠性和可維護性指標,同時也成為了一個免備份的數(shù)據保護平臺,從而可以進一步降低企業(yè)IT系統(tǒng)的TCO。
結語
隨著移動互聯(lián)網、云計算等技術的應用和部署,海量的數(shù)據以前所未有的增長趨勢沖擊著現(xiàn)有存儲技術架構。存儲設備技術不僅要應對海量數(shù)據帶來的容量大幅提升,無縫地進行存儲彈性無限擴展,也要適應新興業(yè)務應用部署帶來的高存儲性能需求。同時,在兼顧性能的情況下,進一步降低單位存儲的成本,為企業(yè)和用戶帶來更優(yōu)質、更低廉的存儲產品。軟件定義存儲技術架構的出現(xiàn)正是順應技術發(fā)展的趨勢,旨在解決當前存儲技術所面臨的挑戰(zhàn)。當前,國內外各類存儲和軟件廠商紛紛推出具有軟件定義概念的存儲技術,而各大運營商和企業(yè)也都積極參與部署與實踐,軟件定義存儲為日后存儲技術的發(fā)展指明了方向。