掌握網(wǎng)絡(luò)中的流量情況對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施管理具有至關(guān)重要的作用。眾所周知，網(wǎng)絡(luò)流量對(duì)于業(yè)務(wù)評(píng)估、故障分析、日常運(yùn)維、擴(kuò)容等都非常有用，因此網(wǎng)絡(luò)流量采集分析已經(jīng)成為數(shù)據(jù)中心基礎(chǔ)設(shè)施不可缺少的分析手段。
網(wǎng)絡(luò)流量采集也是一門學(xué)問(wèn)，做得好會(huì)在關(guān)鍵時(shí)刻起作用，做得不好就會(huì)形成虛設(shè)，反而還要占用大量的網(wǎng)絡(luò)帶寬資源，這樣的流量采集不如不做。流量采集可不是簡(jiǎn)單地將幾個(gè)網(wǎng)絡(luò)設(shè)備端口的流量鏡像一份發(fā)給分析服務(wù)器就了事，要建立一個(gè)覆蓋全面、合理有效的流量采集網(wǎng)絡(luò)，這樣的流量采集才能有助于優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo)，減少故障發(fā)生概率。當(dāng)然，網(wǎng)絡(luò)流量采集也面臨著不少新問(wèn)題，本文將娓娓道來(lái)。
流量增長(zhǎng)太快
根據(jù)預(yù)測(cè)，到2019年數(shù)據(jù)中心的流量將為2014年的三倍，平均每年保持著30%的增長(zhǎng)率，不要只看增長(zhǎng)率，其實(shí)2014年的流量基數(shù)就很大，2014年就有2.1ZB。流量的增長(zhǎng)會(huì)給監(jiān)管帶來(lái)很多問(wèn)題。比如：現(xiàn)有的監(jiān)控服務(wù)器處理能力不夠，鏡像流量過(guò)大導(dǎo)致設(shè)備端口或內(nèi)部通道擁塞，流量種類太多導(dǎo)致采集類型不完整等等。所以，流量增加后會(huì)帶來(lái)一系列問(wèn)題，監(jiān)管的手段也要隨之調(diào)整，否則就無(wú)法真實(shí)采集到流量實(shí)時(shí)狀態(tài)，甚至還會(huì)對(duì)現(xiàn)有業(yè)務(wù)造成影響。如果采用的是采樣的方式，就有一定的采樣比，隨著流量的增長(zhǎng)，采集的流量會(huì)多一些，也可能會(huì)漏掉一些特征流量，還有可能采集的流量太大，將設(shè)備CPU打爆，這時(shí)就要降低采樣比，但這時(shí)降低采樣比采集的樣本流量會(huì)更少，準(zhǔn)確度下降?？傊?，當(dāng)流量在不斷增加時(shí)，不僅要對(duì)設(shè)備進(jìn)行擴(kuò)容，對(duì)采集流量的方法也要調(diào)整，否則流量采集起不到監(jiān)管作用。
采集需求多樣化
數(shù)據(jù)中心網(wǎng)絡(luò)承載的業(yè)務(wù)種類越來(lái)越多，流量特征也越來(lái)越多，有時(shí)就需要針對(duì)不同流量部署不同的采集技術(shù)。像鏡像、Netflow、Netsteam、Erspan等都可以作為流量采集的技術(shù)。鏡像種類就很繁多，可以基于端口鏡像、基于某些特征流鏡像，基于VLAN鏡像，鏡像流量可以發(fā)向多臺(tái)監(jiān)控服務(wù)器，可以跨多臺(tái)設(shè)備鏡像，或者通過(guò)VLAN廣播，以此來(lái)滿足各種流量采集的要求。就算有這么多種類的流量采集方式，時(shí)常也得不到滿足。像Netsteam受限于技術(shù)實(shí)現(xiàn)，有的只能識(shí)別五元素IP特征的流量，對(duì)于IP頭其它部位變化特征則無(wú)法采集和分類，有的設(shè)備采用CPU軟件實(shí)現(xiàn)，處理能力過(guò)低，有的設(shè)備采集FPGA硬件實(shí)現(xiàn)，識(shí)別流量的種類就沒(méi)有那么豐富。再有，在一個(gè)高冗余的網(wǎng)絡(luò)架構(gòu)中，二層多路徑等技術(shù)也對(duì)流量采集提出了挑戰(zhàn)，不同路徑均有流量分布，就需要在所有鏈路上都部署流量采集點(diǎn)，這樣相同的流量在不同的鏈路上均能采集到，實(shí)際得到的流量要比采樣比還高。
數(shù)據(jù)安全要求高
人們對(duì)數(shù)據(jù)中心安全越來(lái)越重視，尤其擔(dān)心自己的隱私數(shù)據(jù)遭到泄露或者被人所利用，若在數(shù)據(jù)中心部署過(guò)多的流量監(jiān)控，易引起人們的反感，這就像是在換衣間安裝了攝像頭一樣，覺(jué)得自己的隱私受人監(jiān)控，所以數(shù)據(jù)中心里的數(shù)據(jù)流量并不允許隨意去采集，作為數(shù)據(jù)分析使用，所以要流量采集取之有道，流量監(jiān)管信息公開(kāi)，讓人們放心使用數(shù)據(jù)中心的應(yīng)用。數(shù)據(jù)中心網(wǎng)絡(luò)承載著客戶業(yè)務(wù)的重要數(shù)據(jù)，要對(duì)數(shù)據(jù)進(jìn)行安全檢查，避免在數(shù)據(jù)采集的過(guò)程中出現(xiàn)信息泄露，安全問(wèn)題絕對(duì)是在進(jìn)行采集網(wǎng)絡(luò)規(guī)劃建設(shè)時(shí)首要重點(diǎn)考慮的問(wèn)題。對(duì)于部分重要的生產(chǎn)網(wǎng)絡(luò)流量數(shù)據(jù)，必須要進(jìn)行脫敏處理，隱藏客戶敏感信息，避免信息泄露。在數(shù)據(jù)分析后，及時(shí)將原始數(shù)據(jù)進(jìn)行銷毀，避免流量數(shù)據(jù)被泄露或?yàn)樗瞬环ㄋ谩?/p>
流量分析工具差異大
通過(guò)各種流量采集技術(shù)從網(wǎng)絡(luò)中獲取的流量是幾乎沒(méi)有加工過(guò)的數(shù)據(jù)，這些數(shù)據(jù)被采集到監(jiān)控設(shè)備上時(shí)，需要通過(guò)特定的分析工具解析和統(tǒng)計(jì)分析。比如：Netflow采集，只不過(guò)將采集到的流量做了報(bào)文封裝，形成統(tǒng)一格式的報(bào)文發(fā)給監(jiān)控設(shè)備，監(jiān)控設(shè)備要能識(shí)別Netflow報(bào)文，解析報(bào)文將流量原始報(bào)文還原出來(lái)，然后去原始流量進(jìn)行分析和統(tǒng)計(jì)。采用不同的分析軟件工具，獲得的結(jié)果會(huì)有很大出入，有些工具只是統(tǒng)計(jì)，將流量進(jìn)行歸類，而有些工具則可以利用云計(jì)算、大數(shù)據(jù)等技術(shù)進(jìn)行數(shù)據(jù)分析和預(yù)測(cè)，以便對(duì)業(yè)務(wù)運(yùn)行狀況進(jìn)行分析和預(yù)判。不同的分析工具與不同的流量采集方式適配，相互之間并不能兼容，這也導(dǎo)致市面上出現(xiàn)了很多流量分析工具，質(zhì)量參差不齊，在選擇時(shí)一定要慎重。選擇有效的流量采集方式，不僅可以節(jié)省開(kāi)支，降低流量監(jiān)管成本，還能最大限度地利用采集的流量數(shù)據(jù)進(jìn)行分析。
在數(shù)據(jù)中心網(wǎng)絡(luò)不斷發(fā)展壯大的過(guò)程中，流量采集面臨著不少的難題，但這方面的工作還要繼續(xù)去做，要懂得去適應(yīng)，去解決問(wèn)題，方法總比困難多。現(xiàn)在的數(shù)據(jù)中心都在做精細(xì)化的運(yùn)維，流量監(jiān)管是最為重要的一部分，早期那種部署個(gè)網(wǎng)管軟件獲取一些監(jiān)控節(jié)點(diǎn)信息已經(jīng)無(wú)法滿足了，要通過(guò)流量采集并進(jìn)行后期的流量分析，將流量采集與各類分析應(yīng)用平臺(tái)聯(lián)動(dòng)起來(lái)，從不同角度挖掘數(shù)據(jù)信息，對(duì)數(shù)據(jù)進(jìn)行深入分析，支持運(yùn)維業(yè)務(wù)發(fā)展。對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的運(yùn)行狀態(tài)進(jìn)行預(yù)判，提升數(shù)據(jù)中心網(wǎng)絡(luò)的運(yùn)營(yíng)效率。流量采集是流量分析體系的基礎(chǔ)，一個(gè)覆蓋全面、合理有效的流量采集網(wǎng)絡(luò)，有助于提高網(wǎng)絡(luò)流量的采集、過(guò)濾和分析效率，滿足不同角度的流量監(jiān)管要求，優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo)，提高客戶體驗(yàn)。
（原標(biāo)題：數(shù)據(jù)中心網(wǎng)絡(luò)流量采集難題）
