云存儲(chǔ)在信創(chuàng)云中的應(yīng)用

存儲(chǔ),顧名思義就是存儲(chǔ)數(shù)據(jù)的地方,而稱(chēng)之為云存儲(chǔ),其實(shí)就是意味著一種服務(wù)的提供出去。信創(chuàng)云采用全托管的模式,用戶(hù)可以通過(guò)簡(jiǎn)單易用的控制臺(tái)使用各種云服務(wù),自主的實(shí)現(xiàn)在云上的各種業(yè)務(wù)目標(biāo)。

本文來(lái)自微信公眾號(hào)“twt企業(yè)IT社區(qū)”,作者/朱琦,目前擔(dān)任某國(guó)內(nèi)著名餐飲連鎖企業(yè)運(yùn)維負(fù)責(zé)人,涉獵領(lǐng)域廣泛,特別對(duì)運(yùn)維和數(shù)據(jù)和數(shù)據(jù)庫(kù)運(yùn)維有自己獨(dú)特的理解和認(rèn)識(shí)。

前言

存儲(chǔ),顧名思義就是存儲(chǔ)數(shù)據(jù)的地方,而稱(chēng)之為云存儲(chǔ),其實(shí)就是意味著一種服務(wù)的提供出去。信創(chuàng)云采用全托管的模式,用戶(hù)可以通過(guò)簡(jiǎn)單易用的控制臺(tái)使用各種云服務(wù),自主的實(shí)現(xiàn)在云上的各種業(yè)務(wù)目標(biāo)。

所以,存儲(chǔ)要和信創(chuàng)云結(jié)合,必須聚焦在自主上,即把復(fù)雜的存儲(chǔ)選擇邏輯以直白的方式提供給用戶(hù),把專(zhuān)業(yè)性很強(qiáng)的性能指標(biāo)以用戶(hù)可以理解的方式感知到。

眾說(shuō)周知,亞馬遜是公有云的鼻祖,其技術(shù)的領(lǐng)先不容置疑,讓要讓一個(gè)普通用戶(hù)去用亞馬遜云,用好亞馬遜云。需要有較高的技術(shù)學(xué)習(xí)成本。為此,亞馬遜公司還建立的較為復(fù)雜的培訓(xùn)系統(tǒng)和認(rèn)證體系,對(duì)于云存儲(chǔ)也不例外,比如對(duì)于磁盤(pán)也有很多規(guī)格種類(lèi),代表不同的存儲(chǔ)方式和性能。

化繁為簡(jiǎn),讓只有一般云知識(shí)的用戶(hù)在先不學(xué)習(xí)或少學(xué)習(xí)的基礎(chǔ)上,在信創(chuàng)云上自主,暢快、低成本的使用云存儲(chǔ),讓用戶(hù)真正的聚焦在業(yè)務(wù)上,而不是成為“存儲(chǔ)專(zhuān)家”,是信創(chuàng)云的云存儲(chǔ)能否成功的關(guān)鍵。

1.存儲(chǔ)的設(shè)備

1.1硬盤(pán)/固態(tài)硬盤(pán)

公有云一般大量使用企業(yè)級(jí)的SAS/SATA硬盤(pán)和SSD作為基礎(chǔ)存儲(chǔ)介質(zhì),選用性能穩(wěn)定和高可靠性的硬盤(pán),在不同節(jié)點(diǎn)上的硬盤(pán)存儲(chǔ)可以構(gòu)成分布式存儲(chǔ)。

1.2存儲(chǔ)陣列

公有云會(huì)使用高端的存儲(chǔ)陣列設(shè)備,如NetApp、Dell EMC等知名品牌,通過(guò)RAID和虛擬化技術(shù)提供存儲(chǔ),這是集中式存儲(chǔ),通常比較昂貴。

1.3全閃存存儲(chǔ)

如果存儲(chǔ)陣列中使用的時(shí)SSD,或最頂級(jí)的Nvme SSD磁盤(pán),就構(gòu)成了全閃存存儲(chǔ),部分公有云已經(jīng)開(kāi)始使用全閃存存儲(chǔ)陣列提供高性能存儲(chǔ)。

1.4磁帶庫(kù)

部分公有云會(huì)配置磁帶庫(kù)用于冷數(shù)據(jù)備份和歸檔。但使用頻率不高。目前,由于磁帶的壽命短等缺點(diǎn),很少有真實(shí)的磁帶庫(kù)了,取而代之的是虛擬帶庫(kù)。虛擬帶庫(kù)是由一些廉價(jià)的SAS甚至SATA盤(pán)構(gòu)成的盤(pán)庫(kù)構(gòu)成,盤(pán)庫(kù)與陣列有明顯的區(qū)別是前者不帶有驅(qū)動(dòng)器。

1.5冷/熱數(shù)據(jù)分離存儲(chǔ)

這我感覺(jué)應(yīng)該是信創(chuàng)云存儲(chǔ)提供的創(chuàng)新部分。目前在IDC機(jī)房中都是有分層存儲(chǔ)的,而在公有云上,不同廠(chǎng)商也提供了不同的同一存儲(chǔ)類(lèi)型的分布式存儲(chǔ),可以將不常訪(fǎng)問(wèn)數(shù)據(jù)遷移到低成本存儲(chǔ)中。但并不能混合使用。

1.6存儲(chǔ)網(wǎng)關(guān)

用于連接內(nèi)部存儲(chǔ)網(wǎng)絡(luò)與外部客戶(hù)的橋接設(shè)備。

2.云存儲(chǔ)的種類(lèi)

2.1塊存儲(chǔ)

塊存儲(chǔ)可以說(shuō)是大家在平時(shí)接觸的最常見(jiàn)的存儲(chǔ)了,在物理機(jī)上裝塊磁盤(pán),windows或linux系統(tǒng)掛載的都是塊存儲(chǔ)。但在云存儲(chǔ)中,就要多考慮一些東西了。

不同的用戶(hù)在不同的項(xiàng)目,需要的塊存儲(chǔ)是不同的。大多數(shù)的用戶(hù)需要的普通的塊存儲(chǔ)。但大多數(shù)目前的公有云提供商都是用集中式存儲(chǔ)提供塊存儲(chǔ)的。這樣做的好處很明顯,方便而且性能完全可以滿(mǎn)足要求,但缺點(diǎn)就是成本挺高的。如果容量小還感覺(jué)不到,超過(guò)500GB的價(jià)格就不一樣了。所以信創(chuàng)云可以考慮提供分布式存儲(chǔ),推薦使用開(kāi)源的ceph,或商業(yè)的xsky,因?yàn)榉植际酱鎯?chǔ)的是通過(guò)多臺(tái)服務(wù)器的本地盤(pán)組成的,所以?xún)r(jià)格較低。

分布式存儲(chǔ)的問(wèn)題是讀性能優(yōu)秀,延遲尚可,但寫(xiě)的性能較差。但有些應(yīng)用計(jì)算在內(nèi)存、寫(xiě)磁盤(pán)的需求并不多,針對(duì)這些應(yīng)用提供分布式存儲(chǔ)所提供的塊存儲(chǔ),可以有效的降低使用成本。

除此之外,分布式存儲(chǔ)有巨大魅力的一點(diǎn)就是,可以通過(guò)調(diào)節(jié)副本的數(shù)量來(lái)控制寫(xiě)的性能,這點(diǎn)可以通過(guò)適當(dāng)?shù)姆庋b暴露給用戶(hù),又提高了用戶(hù)選擇的多樣性。

2.2對(duì)象存儲(chǔ)

以對(duì)象的形式進(jìn)行存儲(chǔ),每個(gè)對(duì)象包含數(shù)據(jù)和元數(shù)據(jù),通過(guò)RESTful API進(jìn)行訪(fǎng)問(wèn),具有高可靠、高可用、高擴(kuò)展性等特點(diǎn),可以輕松應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)。它還實(shí)現(xiàn)了跨區(qū)域復(fù)制機(jī)制,可以在不同地域存儲(chǔ)對(duì)象副本,防止區(qū)域性故障導(dǎo)致的數(shù)據(jù)丟失。它的計(jì)費(fèi)模式也比較特殊,實(shí)行按用量付費(fèi)的計(jì)費(fèi)模式,用戶(hù)只需要為實(shí)際使用的存儲(chǔ)量和流量付費(fèi),節(jié)省成本。一般公有云的對(duì)象存儲(chǔ)都提供Policy和ACL的訪(fǎng)問(wèn)控制機(jī)制,用于管理對(duì)存儲(chǔ)空間和對(duì)象訪(fǎng)問(wèn)的權(quán)限。而為了訪(fǎng)問(wèn)上的快速和控制,一般會(huì)集成CDN服務(wù),通過(guò)邊緣節(jié)點(diǎn)實(shí)現(xiàn)更快速的資源分發(fā)。

在使用中,感到不太便捷的,就是它的訪(fǎng)問(wèn)控制機(jī)制了。比如在AWS中,要訪(fǎng)問(wèn)對(duì)象存儲(chǔ)S3中的桶(bucket),我可以通過(guò)三種方式,一設(shè)定AKSK,也就是訪(fǎng)問(wèn)密鑰和加密密鑰,通過(guò)IAM設(shè)置不同的訪(fǎng)問(wèn)bucket的權(quán)限;二設(shè)置policy,policy的設(shè)定必須參考文檔有格式的要求,而且對(duì)白名單,黑名單,賬號(hào),操作都有不同的設(shè)置要求,不同的policy組合起來(lái)還有注意優(yōu)先級(jí),十分搞腦子;三打開(kāi)public的阻止選項(xiàng),這屬于無(wú)腦操作,對(duì)外界訪(fǎng)問(wèn)不加任何限制,存在安全問(wèn)題。

所以,信創(chuàng)云應(yīng)該從訪(fǎng)問(wèn)控制入手,提供不同的場(chǎng)景讓用戶(hù)去選擇,而不是讓用戶(hù)自己去學(xué)習(xí)去組織不同的policy和IAM權(quán)限設(shè)置。這些設(shè)置對(duì)于一個(gè)有經(jīng)驗(yàn)的云管理人員算不上什么,但是對(duì)于用戶(hù)就可能會(huì)有較高的學(xué)習(xí)成本。

對(duì)象存儲(chǔ)必定會(huì)有大量的web服務(wù)接口和restful API接口,將來(lái)對(duì)于信創(chuàng)云來(lái)說(shuō),必定會(huì)有云桌面,如aws的workspace,阿里云的無(wú)影;讓對(duì)象存儲(chǔ)無(wú)縫對(duì)接云桌面這也是必須的。再又可以進(jìn)一步考慮優(yōu)雅方便的對(duì)接用戶(hù)自己的IT環(huán)境,使得信創(chuàng)云的對(duì)象存儲(chǔ)成為企業(yè)的“百度網(wǎng)盤(pán)”,我感到也可以擴(kuò)大信創(chuàng)云的用戶(hù)群體。

2.3文件存儲(chǔ)

文件存儲(chǔ)提供了標(biāo)準(zhǔn)的NFS和SMB網(wǎng)絡(luò)文件系統(tǒng),讓用戶(hù)可以將云硬盤(pán)掛載為文件系統(tǒng)共享來(lái)存放數(shù)據(jù)。文件存儲(chǔ)也建立在分布式文件系統(tǒng)之上,可以按需擴(kuò)展容量和增強(qiáng)性能。用戶(hù)可以通過(guò)標(biāo)準(zhǔn)文件訪(fǎng)問(wèn)協(xié)議進(jìn)行數(shù)據(jù)存取,很方便地使用文件存儲(chǔ)服務(wù)。

這種存儲(chǔ)通常用于傳統(tǒng)企業(yè)應(yīng)用系統(tǒng)遷移到云時(shí)繼續(xù)使用文件共享的場(chǎng)景,也是廣泛被大家所理解的存儲(chǔ)。更重要的是它可以作為也就是價(jià)格適中,性能一般的“中庸”的共享存儲(chǔ),對(duì)于容器環(huán)境而言,可以作為一種“缺省存儲(chǔ)選擇”。因?yàn)橛行r(shí)候,用戶(hù)對(duì)于共享存儲(chǔ)的性能要求真的不是特別高。

比如:對(duì)于Kafka,傳統(tǒng)概念上,都認(rèn)為它對(duì)存儲(chǔ)的性能要求非常高,但在開(kāi)發(fā)環(huán)境或功能測(cè)試環(huán)境中,我們只要有這個(gè)kafka組件就可以了。所以信創(chuàng)云可以結(jié)合中國(guó)的實(shí)際情況,提供一種低成本的開(kāi)發(fā)測(cè)試環(huán)境的存儲(chǔ),文件存儲(chǔ)也許是個(gè)不錯(cuò)的選擇。

3.信創(chuàng)云云存儲(chǔ)之思考

3.1云存儲(chǔ)數(shù)據(jù)的冷熱數(shù)據(jù)分層存儲(chǔ)

前面我談到很多IDC機(jī)房是有分層存儲(chǔ)的,而且這種存儲(chǔ)還可以自動(dòng)進(jìn)行遷移,比如熱數(shù)據(jù)放置在Nvme SSD的存儲(chǔ)上,當(dāng)這熱數(shù)據(jù)稍冷后,可以遷移到普通的SSD磁盤(pán)上,再冷卻后,可以遷移到普通的SAS盤(pán)上。為什么能這么做呢?是因?yàn)榇鎯?chǔ)廠(chǎng)商生產(chǎn)的磁盤(pán)陣列中放置了三種類(lèi)型的磁盤(pán)。

公有云比IDC更有優(yōu)勢(shì)的是虛擬化技術(shù),可以把不同的存儲(chǔ)方式,容納到分層存儲(chǔ)中。于是,在云存儲(chǔ)中,我們可以加入更多的存儲(chǔ)類(lèi)型,而不是只能是磁盤(pán)。比如,我們可以把分布層存儲(chǔ),對(duì)象存儲(chǔ)也容納進(jìn)去。這樣能對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)有更好的掌控,并且可以給客戶(hù)省下更多的錢(qián)。

3.2云存儲(chǔ)在容器環(huán)境的使用

曾經(jīng)開(kāi)發(fā)過(guò)一類(lèi)ALL-in-Kubernetes的產(chǎn)品,類(lèi)似于現(xiàn)在的青云信創(chuàng)云。我們把Redis-cluster,kafka,基于vitness的mysql,TiDB,elasticsearch全部搬入了kubernetes容器云,并水用基于ceph分布式存儲(chǔ)的xsky作為整個(gè)容器云的存儲(chǔ)供應(yīng),當(dāng)然TiDB使用本地磁盤(pán)并沒(méi)有用xsky。這個(gè)容器云集群雖然是在IDC機(jī)房部署的,但目前看起來(lái)在信創(chuàng)云上也是可以的。

它的好處是操作傻瓜式,用戶(hù)想要部署redis cluster或elasticsearch的PAAS組件時(shí),只需要點(diǎn)鼠標(biāo)選擇不同的配置,特別在存儲(chǔ)選擇時(shí),也只需要選擇不同的存儲(chǔ)類(lèi)型(比較簡(jiǎn)陋,只有兩個(gè)選擇xsky,localdisk兩種),后端就可以拼接出一個(gè)yaml語(yǔ)句,然后在kubernetes集群上部署。而用戶(hù)不需要了解任何yaml的語(yǔ)法。我感覺(jué),這是信創(chuàng)云一個(gè)可以完善的方向,再進(jìn)一步完善可以開(kāi)發(fā)出收費(fèi)組建,監(jiān)控組建,在適當(dāng)?shù)母綦x存儲(chǔ)組件,應(yīng)用組件和計(jì)算組件。

3.3云存儲(chǔ)的數(shù)據(jù)遷移

曾經(jīng)我在的一家公司想做數(shù)據(jù)庫(kù)的完整災(zāi)備數(shù)據(jù)庫(kù),數(shù)據(jù)量也不大,也就30T左右。我們聽(tīng)說(shuō)華為云比較便宜,就把華為云的團(tuán)隊(duì)叫了過(guò)來(lái),一切都談的很好。但在數(shù)據(jù)遷移的環(huán)節(jié)出了問(wèn)題。

也許現(xiàn)在華為云有了好的解決方案,但在當(dāng)時(shí),華為云讓我們自己一點(diǎn)點(diǎn)的把數(shù)據(jù)傳到云上去。這且不論其他成本,就這個(gè)時(shí)間成本也是難以承受的。AWS提供了一種“移動(dòng)存儲(chǔ)“的數(shù)據(jù)遷移服務(wù)。我感覺(jué)我們的信創(chuàng)云要想做大做強(qiáng),這種服務(wù)器也是需要有的,就是準(zhǔn)備大型的高可靠高容量的”移動(dòng)硬盤(pán)“,到用戶(hù)的IDC機(jī)房把數(shù)據(jù)copy出來(lái),遷移到云機(jī)房去。這無(wú)論對(duì)建立云上云下的混合云,還是遷移數(shù)據(jù)上云,都是有莫大好處的。

3.4云存儲(chǔ)的安全性

用戶(hù)數(shù)據(jù)上云的一個(gè)巨大阻力就是安全。前天我問(wèn)了我的太太,她是一家物流公司的財(cái)務(wù)總。她的公司會(huì)不會(huì)把數(shù)據(jù)上云?當(dāng)場(chǎng)給出了否定的回答,為什么呢?她說(shuō),經(jīng)常聽(tīng)到有公司的客戶(hù)數(shù)據(jù)在云上丟失,所以,業(yè)界都不敢用了。所以,如果讓用戶(hù)對(duì)云存儲(chǔ)的安全性有足夠的信心,是信創(chuàng)云存儲(chǔ)能否在企業(yè)中成功的重要挑戰(zhàn)!

當(dāng)今,雖然亞馬遜云是公有云的老大。其上有眾多數(shù)據(jù)庫(kù),性能不一定比Oracle差,每年有不少企業(yè)把在IDC機(jī)房的Oracle數(shù)據(jù)庫(kù)遷移到亞馬遜云上,但速度非常緩慢,從10年前超過(guò)40%的市場(chǎng)份額,到2023年7月Oracle公司還是有34.8%的市場(chǎng)份額。Oracle的許可證如此之貴,企業(yè)在擔(dān)心什么呢?為什么不遷移呢?其中重要的原因就是安全性。

這有人說(shuō)這是數(shù)據(jù)庫(kù)的安全性,和存儲(chǔ)的安全性是有區(qū)別的。但近幾年來(lái),隨著大數(shù)據(jù)的普及,數(shù)據(jù)不僅僅存放在了數(shù)據(jù)庫(kù)中,還直接以文件形式存放在存儲(chǔ)里磁盤(pán)上,更有甚者,大數(shù)據(jù)直接存儲(chǔ)在對(duì)象存儲(chǔ)上。

問(wèn)題焦點(diǎn)更進(jìn)一步從數(shù)據(jù)庫(kù)安全性轉(zhuǎn)移到了存儲(chǔ)安全性。云存儲(chǔ)必須在存儲(chǔ)加密上有新的突破,不僅讓用戶(hù)用的方便,還必須用的放心。

4.結(jié)束語(yǔ)

數(shù)據(jù)是新的石油,是企業(yè)的重要資產(chǎn),國(guó)家已經(jīng)做出了“黨管數(shù)據(jù)”的重要指示,這足以說(shuō)明數(shù)據(jù)的重要性。云存儲(chǔ)做為云上數(shù)據(jù)的載體,在信創(chuàng)云中起著舉足輕重的地位。

要做好云存儲(chǔ),必須在降本增效、適用容器、便捷遷移、提供安全性四個(gè)方面下功夫,做出和現(xiàn)有公有云不一樣的服務(wù)或更進(jìn)一步的服務(wù)出來(lái)。讓信創(chuàng)云的云存儲(chǔ)真正意義上無(wú)愧于“創(chuàng)”!

THEEND

最新評(píng)論(評(píng)論僅代表用戶(hù)觀(guān)點(diǎn))

更多
暫無(wú)評(píng)論