上海思詢信息科技有限公司是一家顧問型科技公司,致力于通過開源、開放的理念協(xié)助企業(yè)打造自主可控的基礎(chǔ)架構(gòu)平臺。我們對于開源技術(shù)精益求精,并把團(tuán)隊(duì)的項(xiàng)目經(jīng)驗(yàn)通過專業(yè)服務(wù)和構(gòu)建新產(chǎn)品的方式傳播開來。遵循開源理念,基于業(yè)務(wù)視角向用戶提供云計(jì)算解決方案、分布式存儲解決方案、監(jiān)控可視化解決方案等。
1、項(xiàng)目建設(shè)背景介紹
***(因與客戶簽訂了保密協(xié)議,故用*號代替客戶名稱)集團(tuán)是國內(nèi)A股市場最大的汽車上市公司,積極推進(jìn)新能源汽車、互聯(lián)網(wǎng)汽車的商業(yè)化。自2015年開始向“互聯(lián)網(wǎng)”模式的轉(zhuǎn)型,推進(jìn)在新能源動力系統(tǒng)、智能駕駛、軟件工程、智能互聯(lián)、人機(jī)交互、云&大數(shù)據(jù)以及支撐各領(lǐng)域的先進(jìn)材料等領(lǐng)域內(nèi)的技術(shù)創(chuàng)新和產(chǎn)業(yè)鏈布局,同步以市場需求為導(dǎo)向,為自主品牌持續(xù)提供差異化的前瞻技術(shù)產(chǎn)業(yè)化應(yīng)用成果。打造“跑在互聯(lián)網(wǎng)上的汽車”(Car on the Internet),為中國互聯(lián)網(wǎng)汽車提供整體解決方案。
制造行業(yè)云數(shù)據(jù)中心的啟用能更好地為***集團(tuán)下屬企業(yè)降本增效,集團(tuán)每個(gè)企業(yè)都需要有自己的機(jī)房和數(shù)據(jù)中心,自己的數(shù)據(jù)處理和維護(hù)團(tuán)隊(duì),每家企業(yè)在建立數(shù)據(jù)中心時(shí)需要預(yù)留的冗余空間和硬件,以及各家企業(yè)在自主開發(fā)和維護(hù)的很多具有共通性質(zhì)的應(yīng)用。通過建立云數(shù)據(jù)中心,不僅可以高效進(jìn)行基礎(chǔ)數(shù)據(jù)的存儲和計(jì)算,減少存儲和運(yùn)算成本,還可以通過各種通用應(yīng)用的開發(fā)、管理和維護(hù),讓企業(yè)可以共享這些應(yīng)用。同時(shí)通過云數(shù)據(jù)中心的建設(shè)能更快實(shí)現(xiàn)技術(shù)標(biāo)準(zhǔn),推動下屬企業(yè)間更高層次上協(xié)同。
2、項(xiàng)目實(shí)施方案
總體架構(gòu)-基于開源、自主可控(OpenStack)
***集團(tuán)綜合考慮并評估了自主可控、穩(wěn)定安全、技術(shù)先進(jìn)、廣泛兼容等要素之后,經(jīng)過充分的技術(shù)驗(yàn)證,最終選擇采用基于OpenStack框架的技術(shù)棧整體解決方案:1)OpenStack開源的技術(shù)架構(gòu),符合***集團(tuán)制造業(yè)行業(yè)云自主可控的要求;2)OpenStack作為私有云的主流技術(shù)之一擁有完整的基礎(chǔ)架構(gòu)資源框架;3)OpenStack積極分享、開放的社區(qū)模式,也利于持續(xù)賦能技術(shù)團(tuán)隊(duì),打造業(yè)務(wù)和技術(shù)兼?zhèn)涞木C合型人才。
OpenStack架構(gòu)
由于集團(tuán)下屬企業(yè)分布在全國各地,因此核心數(shù)據(jù)中心需要滿足多地接入和服務(wù)使用的場景,同時(shí)考慮到容災(zāi)的問題,集團(tuán)云數(shù)據(jù)中心采用兩地三中心的設(shè)計(jì)架構(gòu)。對應(yīng)的Openstack也采用了多區(qū)域設(shè)計(jì),多區(qū)域架構(gòu)不但便于運(yùn)維管理和控制故障域,同時(shí)便于開展之后的區(qū)域滾動升級和應(yīng)用跨區(qū)域高可用部署。
兩地三中心 示意圖
OpenStack技術(shù)棧
計(jì)算資源池-虛擬化KVM
KVM是行業(yè)內(nèi)采用最為廣泛的虛擬化軟件之一,它具有非常好的性能和穩(wěn)定性。***集團(tuán)數(shù)據(jù)中心通過KVM虛擬化平臺可以將底層異構(gòu)的物理服務(wù)器構(gòu)建成一個(gè)統(tǒng)一的計(jì)算資源池,同時(shí)OpenStack可以將這些計(jì)算資源池進(jìn)行邏輯分組和屬性設(shè)置,底層計(jì)算、網(wǎng)絡(luò)、存儲組成的資源池通過JITStack云管理平臺承接上層計(jì)算密集型應(yīng)用、內(nèi)存密集型應(yīng)用、IO密集型應(yīng)用。
JITStack云管理平臺 示意圖
存儲資源池-分布式存儲Ceph
***集團(tuán)核心數(shù)據(jù)中心建設(shè)基于x86服務(wù)器的分布式存儲系統(tǒng),連接著下屬所有企業(yè)數(shù)據(jù)中心,每個(gè)存儲服務(wù)器都參與讀寫IO交互,隨著節(jié)點(diǎn)增加整個(gè)存儲系統(tǒng)不但容量增加并且性能也能提升。通過將數(shù)據(jù)中心中的磁盤文件數(shù)據(jù)被切片后分布在不同節(jié)點(diǎn)上,并可以設(shè)置副本數(shù)保證企業(yè)數(shù)據(jù)可靠性。
分布式存儲Ceph 示意圖
與傳統(tǒng)的存儲架構(gòu)使用RAID模式來保證數(shù)據(jù)的可靠性不同,分布式存儲采用了多副本備份機(jī)制。在存儲數(shù)據(jù)之前,分布式存儲對數(shù)據(jù)進(jìn)行了分片,分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點(diǎn)上。為了保證多個(gè)數(shù)據(jù)副本之間的一致性,分布式存儲通常采用的是一個(gè)副本寫入,多個(gè)副本讀取的強(qiáng)一致性技術(shù),使用鏡像、條帶、分布式校驗(yàn)等方式滿足集團(tuán)對于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時(shí)候,系統(tǒng)可以通過從其他副本讀取數(shù)據(jù),重新寫入該副本進(jìn)行恢復(fù),從而保證副本的總數(shù)固定;當(dāng)數(shù)據(jù)長時(shí)間處于不一致狀態(tài)時(shí),系統(tǒng)會自動數(shù)據(jù)重建恢復(fù),同時(shí)租戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,最小化對業(yè)務(wù)的影響。
得益于合理的分布式架構(gòu),分布式存儲可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲容量和性能。分布式存儲的水平擴(kuò)展有以下幾個(gè)特性:
1) 節(jié)點(diǎn)擴(kuò)展后,舊數(shù)據(jù)會自動遷移到新節(jié)點(diǎn),實(shí)現(xiàn)負(fù)載均衡,避免單點(diǎn)過熱的情況出現(xiàn);
2) 水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),整個(gè)過程不會對業(yè)務(wù)造成影響;
3) 當(dāng)節(jié)點(diǎn)被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展,此后新節(jié)點(diǎn)的資源就會被管理平臺接管,被用于分配或者回收。
網(wǎng)絡(luò)資源池- VPC多租戶網(wǎng)絡(luò)
JITStack云管理平臺支持創(chuàng)建共享的虛擬路由來支持跨VPC的云主機(jī)訪問,或者統(tǒng)一對接外部其他網(wǎng)絡(luò)。每個(gè)租戶可以創(chuàng)建自己的VPC網(wǎng)絡(luò),每個(gè)VPC支持創(chuàng)建獨(dú)立虛擬路由來接入外部網(wǎng)絡(luò)。
建立VPC多租戶網(wǎng)絡(luò)架構(gòu),集團(tuán)每個(gè)租戶可以創(chuàng)建自己的VPC多租戶網(wǎng)絡(luò),由企業(yè)核心路由器創(chuàng)建管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò),管理網(wǎng)絡(luò)經(jīng)過vRouter建立虛擬監(jiān)控網(wǎng)絡(luò)管理各個(gè)虛擬主機(jī)的后臺應(yīng)用,業(yè)務(wù)網(wǎng)絡(luò)部分經(jīng)過vRouter和部分直接訪問各個(gè)虛擬主機(jī)的前端應(yīng)用,并且可實(shí)現(xiàn)多租戶VPC的集中管理。
VPC多租戶網(wǎng)絡(luò) 示意圖
4、制造行業(yè)云對集團(tuán)戰(zhàn)略的價(jià)值
***集團(tuán)行業(yè)云的定位就是作為集團(tuán)的技術(shù)中臺,向下聯(lián)接用戶、智能終端、車輛、物聯(lián)設(shè)備等,向上為智能網(wǎng)聯(lián)汽車、智慧出行、智能制造服務(wù)。
通過云計(jì)算的匯聚功能,對業(yè)務(wù)數(shù)據(jù)進(jìn)行計(jì)算和存儲,再傳遞到業(yè)務(wù)應(yīng)用層,如數(shù)據(jù)湖、人工智能算法,以及包括用戶中心、物料中心、訂單中心、生產(chǎn)中心在內(nèi)的業(yè)務(wù)中臺,推動業(yè)務(wù)更快速、高效地發(fā)展。
目前,制造行業(yè)云正在逐步覆蓋***集團(tuán)總部、下屬企業(yè),以及整車、零部件、后市場、金融等業(yè)務(wù)。隨著云中心規(guī)模的快速擴(kuò)大,圍繞著“新四化”等創(chuàng)新業(yè)務(wù)的數(shù)據(jù)價(jià)值挖掘、打造數(shù)據(jù)應(yīng)用閉環(huán)等工作也在有條不紊地快速進(jìn)行中。