有些企業(yè)由于歷史原因,常常會有不少備份系統(tǒng)倉促上馬,但隨著業(yè)務(wù)的爆炸式發(fā)展,導(dǎo)致整個(gè)系統(tǒng)愈發(fā)沉重,每個(gè)備份任務(wù)的運(yùn)行都對業(yè)務(wù)系統(tǒng)有著不小的沖擊,生產(chǎn)流量和備份流量互相爭用。那么,在備份系統(tǒng)的設(shè)計(jì)過程中,該如何平衡存儲IO和備份性能?
@鄧毓 江西農(nóng)信 系統(tǒng)工程師:
淺談兩點(diǎn):
1.備份網(wǎng)絡(luò)和生產(chǎn)業(yè)務(wù)網(wǎng)絡(luò)分開,網(wǎng)絡(luò)上不會對業(yè)務(wù)產(chǎn)生什么影響。如果實(shí)在是分不開,網(wǎng)絡(luò)是瓶頸,可以嘗試備份客戶端刪重,減少網(wǎng)絡(luò)流量。但備份客戶端刪重也會消耗系統(tǒng)的一些性能。
2.備份時(shí)間窗口盡量安排在系統(tǒng)低峰期,如果實(shí)在是沒什么時(shí)間窗口,可以嘗試存儲快照,之后再映射到其他機(jī)器,進(jìn)行備份。這樣就完全對原系統(tǒng)不影響。
@Jerry 某金融公司 系統(tǒng)架構(gòu)師:
針對于備份系統(tǒng)中存儲IO和備份性能的問題,個(gè)人認(rèn)為可以類比成魚和熊掌的選擇,只能在其中找到一個(gè)平衡點(diǎn)、兩者不可兼得。
根據(jù)自己經(jīng)驗(yàn),初淺談?wù)剬τ谄胶獯鎯O、網(wǎng)絡(luò)和備份性能的一些心得:
生產(chǎn)網(wǎng)絡(luò)和備份網(wǎng)絡(luò)隔離這點(diǎn)很多前輩已經(jīng)提及,若是能在備份系統(tǒng)建立之初就進(jìn)行隔離,那自然是最好,后續(xù)的壓力也會少許多。但若是不能隔離或不能完全隔離呢?
首先從LAN網(wǎng)說起,若不能完全隔離,個(gè)人通常采用的做法就是流量集中化或本地化。所謂的集中化就是在每個(gè)網(wǎng)絡(luò)段增設(shè)Proxy,讓流量集中匯聚在一起,使得備份數(shù)據(jù)量的流向明晰,便于對于備份鏈路的控制,也為后期備份網(wǎng)絡(luò)的分離打好基礎(chǔ)。此類設(shè)計(jì)特別適合金融和運(yùn)營商的生產(chǎn)系統(tǒng),網(wǎng)絡(luò)段涇渭分明,管理和維護(hù)都特別方便;備份流量本地化,即讓備份流量從客戶端自身經(jīng)過交換機(jī)到備份介質(zhì),不再經(jīng)過任何主機(jī)交互。對于網(wǎng)間交互多的業(yè)務(wù)系統(tǒng)特別適用,適時(shí)將各系統(tǒng)的備份流量錯(cuò)開。若是網(wǎng)絡(luò)負(fù)載較高,推薦采用源端消重備份,雖然會占用一部分主機(jī)資源,但能夠大幅減少網(wǎng)間壓力。縱觀主流的源端消重產(chǎn)品,對主機(jī)的性能影響CPU占用率基本徘徊在10%上下,內(nèi)存占用不超過500M,基本也在接受范圍內(nèi)。
對于SAN網(wǎng)絡(luò)的備份,平衡措施就相對局限很多,針對于大數(shù)據(jù)量的SAN備份,推薦使用單獨(dú)的HBA卡進(jìn)行備份以減小對業(yè)務(wù)的影響。對于存儲IO的壓力,沒有立竿見影的措施來改善,數(shù)據(jù)讀寫的模式極大限制了備份的方式。若存儲IO較繁忙,在備份軟件上配置基于存儲快照的備份能稍緩解此種情況。最近幾年,基于SAN的源端數(shù)據(jù)消重備份也逐漸趨于成熟,若是資源允許可以采用此種備份大幅提高備份效率。
@mmsc5166 某金融公司信息技術(shù)中心 系統(tǒng)工程師:
備份這個(gè)東西在企業(yè)往往重視度不高,在業(yè)務(wù)沒起來時(shí),一般只注重有沒有這個(gè)問題,等業(yè)務(wù)龐大了,發(fā)現(xiàn)現(xiàn)在的數(shù)據(jù)備份方式、機(jī)制、架構(gòu)等等都不太適合了。
根據(jù)自己的經(jīng)驗(yàn),我總結(jié)備份系統(tǒng)主要有下幾個(gè)注意點(diǎn):
1、如果業(yè)務(wù)不是24小時(shí)的或者有空閑期的,一般備份策略 是把各個(gè)備份任務(wù)放到相對空閑期去執(zhí)行,切備份并行備份任務(wù)的數(shù)量不要超過5個(gè),根據(jù)你備份主機(jī)的性能和所在網(wǎng)段的吞吐能力、還有網(wǎng)絡(luò)監(jiān)控閥值(一般都有監(jiān)控軟件,跟網(wǎng)絡(luò)工程師打好招呼?。?/p>
2、如果可能的話,預(yù)算充足,選擇客戶端具有前端壓縮、數(shù)據(jù)重刪的備份軟件也不錯(cuò),但是前端壓縮和重刪也會對主機(jī)性能有一定影響的啊;
3、備份服務(wù)器端,選擇具有重刪、大cache等功能的存儲,減少落盤數(shù)據(jù)量,加大數(shù)據(jù)落盤速度。結(jié)合采用san free/LAN free等等,盡量減少備份對生產(chǎn)系統(tǒng)資源的占用。
4、如果還不解渴,預(yù)算充足不要不要的。那好辦,每個(gè)廠家都有像買車一樣頂配的技術(shù)在等小白鼠呢,只要有錢,他能讓你爽到天上去。實(shí)際一點(diǎn)的話,辛苦網(wǎng)絡(luò)工程師了,單獨(dú)搞一個(gè)備份網(wǎng)絡(luò)和生產(chǎn)網(wǎng)絡(luò)物理分隔,需要的主機(jī)加個(gè)網(wǎng)卡,剩下就看主機(jī)性能了,因?yàn)檫@個(gè)辦法網(wǎng)絡(luò)的性能不太影響生產(chǎn)了。
方法很多,結(jié)合自己實(shí)際才是最好的。
@王巧雷 sino-bridge 系統(tǒng)工程師:
個(gè)人的一點(diǎn)小經(jīng)驗(yàn):
有條件的備份和生成網(wǎng)絡(luò)分開,沒條件的就盡量把備份和生產(chǎn)任務(wù)在時(shí)間上錯(cuò)開。
流量或數(shù)據(jù)量大的盡量使用lanfree。
對于SAN傳輸 磁帶傳輸和磁盤傳輸也要分開,使用獨(dú)立的HBA卡、線和zone。
生產(chǎn)存儲和主機(jī)在SAN規(guī)劃的時(shí)候,使用較多的主機(jī)端口。畢竟對于存儲來說,在存儲性能恒定的情況下,多端口對帶寬的提升比較有利。
根據(jù)場景選擇合適的存儲介質(zhì)。比如對于生產(chǎn)數(shù)據(jù)庫,不管備份策略及周期保留多大,恢復(fù)的時(shí)候不太可能回滾過大的時(shí)間段,考慮到恢復(fù)性能,建議最新的幾份放到磁盤或虛擬帶庫上,其他的往物理帶庫上存放。實(shí)際上備份場景下磁帶和磁盤的幾乎沒啥差距,差距在恢復(fù)上。
其他輔助措施:比如通過多驅(qū)動器+多通道技術(shù)提升備份速度;利用數(shù)據(jù)庫自帶的壓縮技術(shù)節(jié)省備份空間;利用備份軟件的客戶端去重技術(shù)縮小數(shù)據(jù)傳輸量等等。當(dāng)然這些手段都有相應(yīng)的負(fù)面作用。需要客戶根據(jù)自己的實(shí)際情況做權(quán)衡。
@ACDante 技術(shù)經(jīng)理:
備份,其實(shí)也是一個(gè)不亞于業(yè)務(wù)容災(zāi)的重要環(huán)節(jié),但往往備份只會在關(guān)鍵時(shí)刻體現(xiàn)它的價(jià)值??赡苡械钠髽I(yè)和客戶對此不以為然,認(rèn)為硬件層面冗余和主機(jī)存儲冗余即可;甚至都沒有一個(gè)完整系統(tǒng)規(guī)范的備份流程和相應(yīng)的規(guī)章制度,更不用提備份恢復(fù)演練或者定期的檢測備份數(shù)據(jù)的完整性,有效性以及在各種應(yīng)急狀況發(fā)生時(shí)的處理流程。這些都需要一個(gè)從無到有逐步建立的過程。需要做好整體規(guī)劃。
針對題主的平衡存儲IO和備份性能議題,前邊的兄弟已經(jīng)闡述的夠全面了,我就再說說。
1、備份方式:
LAN /LAN-free,備份方式的選擇也需要針對不通業(yè)務(wù)和對應(yīng)的網(wǎng)絡(luò)環(huán)境,對于247的業(yè)務(wù),以及業(yè)務(wù)流量較大的應(yīng)用,備份流量和業(yè)務(wù)流量一般都建議分開,即生存網(wǎng)絡(luò)和備份網(wǎng)絡(luò)相互隔離。當(dāng)然,如果分不開,對網(wǎng)絡(luò)來說,需要根據(jù)業(yè)務(wù)增長量以及備份流量做好相應(yīng)的測試和預(yù)留。*
2、備份時(shí)間窗口:
備份窗口的選擇,也是需要根據(jù)備份數(shù)據(jù)量,業(yè)務(wù)低負(fù)載或者業(yè)務(wù)空閑時(shí)間,以及備份設(shè)備性能,備份時(shí)間等進(jìn)行綜合考慮,
3、硬件設(shè)備:
做好業(yè)務(wù)備份規(guī)劃,增長量以及成本預(yù)算,選擇最合適的設(shè)備以及備份架構(gòu),對于后期維護(hù)和解決問題很大幫助。存儲介質(zhì)的選擇需要和具體的業(yè)務(wù)相對應(yīng),長期數(shù)據(jù)變化量不大的,對于備份恢復(fù)時(shí)間要求不高的,可以考慮使用磁帶;對于恢復(fù)時(shí)間要求比較高的業(yè)務(wù),可以備份到硬盤類的存儲設(shè)備上,或者使用虛擬帶庫,目前的虛擬帶庫,恢復(fù)速度也是可以的。
4、關(guān)于備份有效性檢測(題外):
很多時(shí)候,可能生成業(yè)務(wù),重要系統(tǒng)和重要數(shù)據(jù)已經(jīng)進(jìn)行了很完備的備份,也有了相應(yīng)的備份要求和規(guī)定,但是,很多時(shí)候,往往沒有做到對于備份數(shù)據(jù)有效性的檢測。尤其是數(shù)據(jù)庫,或者重要業(yè)務(wù)。有必要而且必須定期做相應(yīng)的恢復(fù)測試?;謴?fù)演練,模擬各種故障以及各種緊急狀況下的應(yīng)急處置恢復(fù)流程規(guī)范,做好分工,俗話說:不怕一萬,就怕萬一。
@jinzhizhu 通訊行業(yè) 系統(tǒng)工程師:
1:備份架構(gòu)設(shè)計(jì)
備份系統(tǒng)特別是大數(shù)據(jù)量的備份,必須要考慮lanfree的方式,將備份子網(wǎng)和存儲子網(wǎng)進(jìn)行隔離。
2:備份時(shí)間評估
采用lanfree方式,備份io是先從存儲子網(wǎng)讀出,然后再通過備份子網(wǎng)寫入備份介質(zhì),備份速度同時(shí)受限于存儲子網(wǎng)和備份子網(wǎng)的HBA,這決定了備份速率和備份恢復(fù)時(shí)間。
3:備份對生產(chǎn)的影響
無論哪種備份方式和備份架構(gòu),備份時(shí)段都必須通過存儲子網(wǎng)產(chǎn)生大量的讀io,會對生產(chǎn)造成沖擊,所以要設(shè)置合理的備份時(shí)段,一般都是選擇業(yè)務(wù)閑時(shí)進(jìn)行備份。
@董志衛(wèi) 李寧(中國)體育用品有限公司 系統(tǒng)架構(gòu)師:
來點(diǎn)小體驗(yàn):
生產(chǎn)網(wǎng)絡(luò)和備份網(wǎng)絡(luò)獨(dú)立
備份服務(wù)器應(yīng)該使用萬兆網(wǎng)絡(luò)
大數(shù)據(jù)量盡量使用lanfree方式
備份窗口和驅(qū)動器數(shù)量配合使用
備份服務(wù)器不應(yīng)太集中,單點(diǎn)也會有問題。
能使用硬件解決的問題,相對好解決,資金要有。俗話說一個(gè)饅頭解決不了的問題,那就用兩個(gè)饅頭解決。
@zyyll87 某券商 存儲工程師:
第一,做好規(guī)劃,最好備份網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)分開
第二,數(shù)據(jù)量較大的備份作業(yè)盡量走LAN free
第三,如果Lan備份,生產(chǎn)各網(wǎng)絡(luò)區(qū)域盡量安裝一臺media server 。減少跨防火墻備份
最后,備份時(shí)間窗口盡量選擇業(yè)務(wù)流量極少的時(shí)候
@raphlgu 旭升 項(xiàng)目經(jīng)理:
備份總量 / 備份速度 = 備份窗口
窗口越小,對生產(chǎn)影響越小。
1、總量越少,窗口越小
2、速度越大,窗口越小
減少總量的方法
1、備份時(shí)去重,減少備份存量和增量
2、合成備份,減少全備份任務(wù)次數(shù),因?yàn)槿珎浞莶攀莻浞莸淖畲箝_銷。
提高速度的方法
1、提高備份網(wǎng)絡(luò)速度。10Gbps/25Gpbs/40Gpbs備份網(wǎng)絡(luò)
2、LAN Free,直接改用SAN的備份網(wǎng)絡(luò),效率遠(yuǎn)高于以太網(wǎng)
@Jhon 技術(shù)經(jīng)理:
1.結(jié)構(gòu)優(yōu)化設(shè)計(jì)
2.日常生產(chǎn)分析
3.缺陷整改
@lecomtee 人行清算 系統(tǒng)工程師:
建議從兩點(diǎn)入手:
1、分析生產(chǎn)流量的特點(diǎn),利用業(yè)務(wù)的低谷時(shí)段進(jìn)行備份,從而避免與生產(chǎn)爭用存儲IO帶寬;
2、使用備份代理服務(wù)器,備份任務(wù)徹底與生產(chǎn)服務(wù)器分離,由于使用不同的光纖卡,可以從根本上避免爭用生產(chǎn)帶寬。
Annoymn:
從硬件層面解決才是正道 。其他的方法只能輔助。
hacmp 四川華信富恒 系統(tǒng)工程師:
業(yè)務(wù)發(fā)展了,系統(tǒng)也應(yīng)該適當(dāng)升級或擴(kuò)容,增加HBA卡或網(wǎng)卡,備份與業(yè)務(wù)分開,優(yōu)先考慮LAN-FREE。備份設(shè)備有條件的上閃存系統(tǒng),備份效率會高很多。
@pingpang1018 啟明信息 系統(tǒng)工程師:
備份的時(shí)間窗口應(yīng)該是存儲的業(yè)務(wù)IO流量較少的的時(shí)候,就是咱們平時(shí)說的,備份在非業(yè)務(wù)時(shí)間段,爆發(fā)是發(fā)展不應(yīng)該全都給時(shí)間窗口壓力,應(yīng)該有效的提升備份效率,利用重復(fù)數(shù)據(jù)刪除、增加網(wǎng)絡(luò)帶寬、SAN網(wǎng)絡(luò)備份等方式增加性能,提升有效時(shí)間內(nèi)的傳輸效率。