【摘要】在數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計(jì)中，和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)設(shè)計(jì)已非常成熟，而沒有和直接業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)設(shè)計(jì)卻未得到足夠重視。當(dāng)收到某項(xiàng)不和業(yè)務(wù)直接相關(guān)的網(wǎng)建設(shè)需求時(shí)，通常僅根據(jù)該需求建設(shè)獨(dú)立網(wǎng)絡(luò)，或在業(yè)務(wù)網(wǎng)內(nèi)規(guī)劃獨(dú)立VLAN。隨著虛擬化、分布式技術(shù)、云計(jì)算等新技術(shù)的大量使用，不直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)建設(shè)需求越來越多，也越來越復(fù)雜。如依然采用上述方法建設(shè)網(wǎng)絡(luò)，不僅會(huì)增加運(yùn)維、管理上的復(fù)雜度，還會(huì)造成設(shè)備利用率低，資源浪費(fèi)嚴(yán)重；或因增加業(yè)務(wù)網(wǎng)絡(luò)的復(fù)雜性，而影響業(yè)務(wù)網(wǎng)的穩(wěn)定性和性能。因此，在數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)時(shí)，針對(duì)不直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)，如何進(jìn)行統(tǒng)籌規(guī)劃和建設(shè)，已越顯重要。
【關(guān)鍵詞】業(yè)務(wù)網(wǎng)、非業(yè)務(wù)網(wǎng)、安全域、VRF、SDN、Vlan、ACL
【作者】范永清，系統(tǒng)架構(gòu)師，現(xiàn)就職于廈門銀行信息技術(shù)部，目前主要負(fù)責(zé)廈門銀行技術(shù)架構(gòu)設(shè)計(jì)。
直接為業(yè)務(wù)系統(tǒng)提供服務(wù)的網(wǎng)絡(luò)稱為業(yè)務(wù)網(wǎng)絡(luò)。為保證銀行信息系統(tǒng)的安全運(yùn)行，結(jié)合監(jiān)管部門要求，通常將業(yè)務(wù)網(wǎng)劃分為若干安全區(qū)域，各安全區(qū)域之間通過防火墻隔離。如數(shù)據(jù)庫(kù)區(qū)、應(yīng)用服務(wù)區(qū)、外聯(lián)區(qū)、互聯(lián)網(wǎng)金融區(qū)等。關(guān)于業(yè)務(wù)網(wǎng)的網(wǎng)絡(luò)規(guī)劃與設(shè)計(jì)已非常成熟，本文不再詳述。
不直接為業(yè)務(wù)提供服務(wù)的網(wǎng)絡(luò)，稱為非業(yè)務(wù)網(wǎng)絡(luò)。不同用途的非業(yè)務(wù)網(wǎng)絡(luò)特點(diǎn)不同。本文將對(duì)非業(yè)務(wù)網(wǎng)絡(luò)的特性進(jìn)行分析，從全局角度，統(tǒng)籌規(guī)劃，以獲得強(qiáng)穩(wěn)定、易擴(kuò)展、便運(yùn)維的高性能非業(yè)務(wù)網(wǎng)絡(luò)。
一、非業(yè)務(wù)網(wǎng)的分類、特性與網(wǎng)絡(luò)規(guī)劃需求
沒有直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)，根據(jù)其用途，可分為帶外管理網(wǎng)、虛擬化管理網(wǎng)、虛擬化遷移網(wǎng)、數(shù)據(jù)備份網(wǎng)、數(shù)據(jù)同步網(wǎng)、集群心跳網(wǎng)、分布式集群數(shù)據(jù)同步網(wǎng)、存儲(chǔ)應(yīng)用IP數(shù)據(jù)網(wǎng)等，網(wǎng)絡(luò)規(guī)劃需求分述如下：
1、帶外管理網(wǎng)
帶外管理網(wǎng)，用于連接各類硬件設(shè)備的帶外管理，如網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、安全等設(shè)備的帶外管理。
每臺(tái)設(shè)備通常只有一個(gè)千兆電口的帶外管理口，因此帶外管理網(wǎng)接入只需配置單臺(tái)千兆電口網(wǎng)絡(luò)接入交換機(jī)。
帶外管理網(wǎng)可根據(jù)管理設(shè)備類型或管理員權(quán)劃分VLAN，各Vlan間相互獨(dú)立，且各數(shù)據(jù)中心之間無需相互通訊，無需發(fā)布路由。
如按管理設(shè)備類型劃分4個(gè)Vlan，分別用于網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、安全設(shè)備的帶外管理。當(dāng)需要增加一類管理設(shè)備時(shí)，可增加一個(gè)Vlan。
因帶外管理網(wǎng)不發(fā)布路由，為實(shí)現(xiàn)遠(yuǎn)程管理，需配置帶外管理服務(wù)器，該服務(wù)器配置雙網(wǎng)卡，其中一個(gè)網(wǎng)卡連接帶外管理網(wǎng)，另一網(wǎng)卡連接業(yè)務(wù)網(wǎng)的運(yùn)維管理區(qū)，運(yùn)維人員配合堡壘機(jī)系統(tǒng)，可實(shí)現(xiàn)遠(yuǎn)程管理。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
2、虛擬化管理網(wǎng)
虛擬化管理網(wǎng)，用于虛擬化資源池的管理，如VMware、KVM、容器平臺(tái)等資源池的管理。
該網(wǎng)絡(luò)流量較小，但需保證網(wǎng)絡(luò)的高可用，故每臺(tái)宿主機(jī)須配置兩張千兆電口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
虛擬化管理網(wǎng)可根據(jù)虛擬化管理要求，劃分不同VLAN（如VMware管理VLAN、KVM管理VLAN等），各VLAN間相互隔離，且各數(shù)據(jù)中心之間無通訊需求。
如增加一個(gè)虛擬化管理類型，可增加一個(gè)Vlan。
因運(yùn)維人員需要遠(yuǎn)程進(jìn)行維護(hù)，故需把路由發(fā)布到全網(wǎng)。因此，在實(shí)際建設(shè)時(shí)，可將虛擬化管理網(wǎng)建設(shè)在業(yè)務(wù)網(wǎng)的運(yùn)維管理區(qū)。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
3、虛擬化遷移網(wǎng)
虛擬化遷移網(wǎng)，用于虛擬化資源池中的虛擬機(jī)遷移，如：VMware的Vmotion等。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺(tái)宿主機(jī)需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
虛擬化遷移網(wǎng)可根據(jù)虛擬化資源池劃分VLAN。每個(gè)資源池對(duì)應(yīng)一個(gè)VLAN，。因虛機(jī)的遷移只發(fā)生在資源池內(nèi)部，且無需跨中心遷移，故中心內(nèi)各VLAN之間相互隔離，且數(shù)據(jù)中心之間無需相互通訊，無需發(fā)布路由。
如增加一個(gè)資源池，可增加一個(gè)Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
4、數(shù)據(jù)備份網(wǎng)
數(shù)據(jù)備份網(wǎng)，用于備份數(shù)據(jù)的傳輸，如虛擬化、數(shù)據(jù)庫(kù)的數(shù)據(jù)備份、虛擬帶庫(kù)的數(shù)據(jù)傳輸?shù)取?/p>
該網(wǎng)絡(luò)流量大、且必須保證高可用，故每臺(tái)宿主機(jī)需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
根據(jù)備份要求，數(shù)據(jù)中心內(nèi)的數(shù)據(jù)備份到本地備份服務(wù)器后，還須同時(shí)傳送到同城中心和異地中心保存，故需打通各個(gè)中心的備份網(wǎng)絡(luò)。為實(shí)現(xiàn)上述網(wǎng)絡(luò)需求，同時(shí)不打破業(yè)務(wù)中的安全域規(guī)劃，數(shù)據(jù)備份網(wǎng)根據(jù)業(yè)務(wù)網(wǎng)中的安全區(qū)域劃分VLAN，不同安全域?qū)?yīng)不同備份Vlan，各Vlan間相互獨(dú)立（如下圖中的Vlan(1)~Vlan(n)）。再規(guī)劃一個(gè)獨(dú)立Vlan（如下圖中的VLan (X)），用于備份服務(wù)器的網(wǎng)絡(luò)接入。該Vlan分別與各備份Vlan（Vlan1~Vlan(n)）通訊。為了實(shí)現(xiàn)數(shù)據(jù)的異地保存，還須打通各數(shù)據(jù)中心備份服務(wù)器Vlan（Vlan（X））的網(wǎng)絡(luò)。
如業(yè)務(wù)網(wǎng)增加一個(gè)安全域，數(shù)據(jù)備份網(wǎng)應(yīng)相應(yīng)增加一個(gè)備份VLan
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
5、數(shù)據(jù)同步網(wǎng)
數(shù)據(jù)同步網(wǎng)，用于數(shù)據(jù)中心之間對(duì)應(yīng)數(shù)據(jù)庫(kù)的數(shù)據(jù)同步，如Oracle的DG、MySQL的Binlog等。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺(tái)宿主機(jī)需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
根據(jù)數(shù)據(jù)中心應(yīng)用級(jí)災(zāi)備要求，各中心均均須部署應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)，并利用數(shù)據(jù)庫(kù)的復(fù)制技術(shù)，將主中心的數(shù)據(jù)實(shí)時(shí)同步到其他中心的數(shù)據(jù)庫(kù)上。根據(jù)上述網(wǎng)絡(luò)需求，數(shù)據(jù)同步網(wǎng)根據(jù)業(yè)務(wù)網(wǎng)中數(shù)據(jù)庫(kù)所在安全域劃分Vlan，不同安全域?qū)?yīng)不同Vlan，各VLAN間相互隔離，同時(shí)打通數(shù)據(jù)中心對(duì)應(yīng)Vlan的網(wǎng)絡(luò)。
如業(yè)務(wù)網(wǎng)中增加一個(gè)數(shù)據(jù)庫(kù)分區(qū)，數(shù)據(jù)同步網(wǎng)應(yīng)相應(yīng)增加一個(gè)數(shù)據(jù)庫(kù)同步Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
6、集群心跳網(wǎng)
集群心跳網(wǎng)，用于集群的心跳數(shù)據(jù)傳輸，如Oracle RAC的數(shù)據(jù)庫(kù)心跳。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺(tái)宿主機(jī)需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)上。
集群心跳網(wǎng)根據(jù)集群劃分Vlan，每個(gè)集群劃分一個(gè)Vlan。（如Oracle RAC，每個(gè)Oracle RAC劃分一個(gè)Vlan）。各VLAN間相互獨(dú)立，且各數(shù)據(jù)中心之間無通訊需求，無需發(fā)布路由。
如增加一個(gè)集群，集群心跳網(wǎng)應(yīng)相應(yīng)增加一個(gè)Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
7、分布式集群數(shù)據(jù)同步網(wǎng)
分布式集群數(shù)據(jù)同步網(wǎng)，用于承載分布式存儲(chǔ)集群、分布式數(shù)據(jù)庫(kù)集群內(nèi)各節(jié)點(diǎn)之間副本數(shù)據(jù)的同步，如hadoop集群、分布式存儲(chǔ)集群等。
該網(wǎng)絡(luò)的流量大，且必須保證高可用，故每個(gè)節(jié)點(diǎn)服務(wù)器配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
分布式集群數(shù)據(jù)同步網(wǎng)根據(jù)分布式集群資源池劃分Vlan，每個(gè)資源池對(duì)應(yīng)一個(gè)Vlan。因副本數(shù)據(jù)只在集群內(nèi)部復(fù)制，故中心內(nèi)各VLAN相互隔離，但因數(shù)據(jù)要復(fù)制到其他中心，故需打通數(shù)據(jù)中心之間對(duì)應(yīng)Vlan的網(wǎng)絡(luò)。
如增加一個(gè)分布式集群，可增加一個(gè)Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
8、存儲(chǔ)應(yīng)用IP數(shù)據(jù)網(wǎng)
存儲(chǔ)應(yīng)用IP數(shù)據(jù)網(wǎng)，用于承載應(yīng)用系統(tǒng)的存儲(chǔ)IP數(shù)據(jù)，如業(yè)務(wù)系統(tǒng)訪問分布式存儲(chǔ)、NAS存儲(chǔ)時(shí)，使用該網(wǎng)絡(luò)。
該網(wǎng)絡(luò)的流量大，且必須保證高可用，故每個(gè)節(jié)點(diǎn)服務(wù)器配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺(tái)接入交換機(jī)。
為保證訪問效率，應(yīng)用系統(tǒng)不建議跨中心訪問存儲(chǔ)系統(tǒng)，故無需打通跨中心的訪問。
根據(jù)業(yè)務(wù)網(wǎng)中的安全區(qū)域劃分VLAN，每個(gè)安全域?qū)?yīng)一個(gè)存儲(chǔ)數(shù)據(jù)Vlan，各Vlan間相互獨(dú)立（如下圖中的Vlan(1)~Vlan(n)）。再規(guī)劃一個(gè)獨(dú)立Vlan（如下圖中的VLan (X)），用于NAS、分布式存儲(chǔ)的存儲(chǔ)應(yīng)用IP數(shù)據(jù)網(wǎng)的接入。該Vlan分別與各存儲(chǔ)數(shù)據(jù)Vlan（Vlan1~Vlan(n)）通訊。
如業(yè)務(wù)網(wǎng)增加一個(gè)安全域，存儲(chǔ)應(yīng)用IP數(shù)據(jù)網(wǎng)應(yīng)相應(yīng)增加一個(gè)數(shù)據(jù)存儲(chǔ)VLan。
網(wǎng)絡(luò)規(guī)劃需如下圖所示：
二、數(shù)據(jù)中心非業(yè)務(wù)網(wǎng)的規(guī)劃與實(shí)踐
在數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)中，根據(jù)上述非業(yè)務(wù)網(wǎng)絡(luò)規(guī)劃需求，新規(guī)劃的非業(yè)務(wù)網(wǎng)將與生產(chǎn)網(wǎng)隔離，且更注重網(wǎng)絡(luò)的性能，同時(shí)具備廣接入、易擴(kuò)展、便管理的特性。規(guī)劃要點(diǎn)如下：
非業(yè)務(wù)網(wǎng)采用兩層網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，每個(gè)服務(wù)器分區(qū)部署二層接入交換機(jī)，支持千兆、萬兆網(wǎng)絡(luò)接入。核心采用高性能、低延時(shí)的三層交換機(jī)。接入交換機(jī)與核心交換機(jī)之間采用40G/100G互聯(lián)。為保證網(wǎng)絡(luò)的高可用，核心和每組接入交換機(jī)均采用雙機(jī)部署。網(wǎng)絡(luò)示意圖如下：
在實(shí)際網(wǎng)絡(luò)建設(shè)時(shí)，可采用傳統(tǒng)的路由交換技術(shù)或SDN技術(shù)組建物理網(wǎng)絡(luò)，在物理網(wǎng)絡(luò)上劃分VRF（或租戶），每個(gè)VRF（或租戶）對(duì)應(yīng)某個(gè)用途的非業(yè)務(wù)網(wǎng)。VRF內(nèi)設(shè)置多個(gè)Vlan（或租戶內(nèi)設(shè)置多個(gè)EPG），Vlan之間通過ACL隔離（租戶采用EPG隔離）。啟用路由協(xié)議，按需實(shí)現(xiàn)中心內(nèi)或多中心間Vlan的相互通訊。為使方案更具通用性，本文擬采用傳統(tǒng)的路由交換技術(shù)，規(guī)劃非業(yè)務(wù)網(wǎng)絡(luò)。
因虛擬化管理網(wǎng)路由需發(fā)布到運(yùn)維管理區(qū)，為簡(jiǎn)化設(shè)計(jì)，可直接將虛擬化管理網(wǎng)規(guī)劃在運(yùn)維管理區(qū)上，本文不再詳述。
如需增加一類非業(yè)務(wù)應(yīng)用，可在非業(yè)務(wù)網(wǎng)上增加一個(gè)VRF（或租戶），并按需求劃分Vlan、發(fā)布路由。
VRF和Vlan劃分詳見下表：
接入交換機(jī)端口與路由規(guī)劃如下：
為了避免服務(wù)器在運(yùn)行過程中，不同類型的網(wǎng)絡(luò)相互產(chǎn)生影響，根據(jù)非業(yè)務(wù)網(wǎng)絡(luò)的流量特點(diǎn)，對(duì)服務(wù)器的網(wǎng)絡(luò)接入進(jìn)行了規(guī)劃。詳見下表：
獨(dú)立的非業(yè)務(wù)網(wǎng)規(guī)劃，隔離了非業(yè)務(wù)應(yīng)用對(duì)業(yè)務(wù)的影響，提高了業(yè)務(wù)網(wǎng)的穩(wěn)定性。此外，統(tǒng)籌的非業(yè)務(wù)網(wǎng)規(guī)劃，不僅很好地滿足了非業(yè)務(wù)應(yīng)用的各項(xiàng)網(wǎng)絡(luò)需求，為非業(yè)務(wù)應(yīng)用提供穩(wěn)定、可靠的高效網(wǎng)絡(luò)，同時(shí)提高設(shè)備利用率，減少機(jī)柜占用空間，且方便了未來非業(yè)務(wù)的擴(kuò)展，簡(jiǎn)化運(yùn)維。
