如何實(shí)現(xiàn)存儲(chǔ)的故障預(yù)警 / 故障報(bào)修 / 故障修復(fù) / 部件更換的全線自動(dòng)化運(yùn)維管理?

twt企業(yè)IT社區(qū)
存儲(chǔ)硬件更換在制度上納入ITIL流程變更管理,通常需要由存儲(chǔ)運(yùn)維人員在ITIL管理平臺(tái)申請(qǐng)事件工單和變更工單。運(yùn)維人員梳理設(shè)備告警情況,并跟廠商確認(rèn)好部件更換工作,先在ITIL管理平臺(tái)中提出事件工單,然后關(guān)聯(lián)此事件工單創(chuàng)建變更工單。

本文來自微信公眾號(hào)“twt企業(yè)IT社區(qū)”。

鄧毓江西農(nóng)信運(yùn)維技術(shù)經(jīng)理:本議題由某股份制銀行存儲(chǔ)架構(gòu)師曾祥滿、某商業(yè)銀行存儲(chǔ)工程師徐子晨針對(duì)議題下關(guān)鍵點(diǎn)發(fā)表主張,幾位專家的主張?jiān)谀侈r(nóng)商銀行架構(gòu)師胡海光、某農(nóng)信資深技術(shù)經(jīng)理雷智及我本人的復(fù)議后,形成了一定的共識(shí),希望可以對(duì)同行有一定的參考。

曾祥滿某股份制銀行存儲(chǔ)架構(gòu)師:

為了提升存儲(chǔ)告警處理的自動(dòng)化運(yùn)維管理水平,一方面需要在告警消息的精準(zhǔn)推送上下功夫,在硬件監(jiān)控平臺(tái)新增恢復(fù)告警,減少告警定位和設(shè)備報(bào)修中帶來的時(shí)間人力開銷;另一方面還需要打造智能平臺(tái),促進(jìn)硬件監(jiān)控平臺(tái)和ITIL管理平臺(tái)自然銜接,從而替代運(yùn)維人員做好流程管理的跟進(jìn)及反饋等工作。

存儲(chǔ)作為存放金融企業(yè)數(shù)據(jù)中心各類生產(chǎn)數(shù)據(jù)的重要載體,其日常的安全平穩(wěn)運(yùn)行至關(guān)重要。特別是應(yīng)對(duì)若干存儲(chǔ)的大量告警,如何從大量告警中提取關(guān)鍵告警消息并及時(shí)處理異常,可謂對(duì)存儲(chǔ)平臺(tái)的穩(wěn)定運(yùn)行起到保駕護(hù)航的作用。存儲(chǔ)告警處理作為常規(guī)工作,一方面需要在技術(shù)層面上及時(shí)發(fā)現(xiàn)告警并處理,另一方面還要在制度層面符合ITIL流程管理的規(guī)定。存儲(chǔ)告警中硬盤及電池的告警相對(duì)較多,此類告警出現(xiàn)時(shí)通常需要更換備件解決,且更換操作均屬于標(biāo)準(zhǔn)流程。因此,存儲(chǔ)硬件類告警的日常處理,如果兼顧流程、實(shí)際情況能納入自動(dòng)化管理,對(duì)于工作效率的提升將十分明顯。下面分別介紹“傳統(tǒng)、目前、未來”三個(gè)階段在發(fā)現(xiàn)存儲(chǔ)故障、提交廠商信息報(bào)修、同步ITIL流程三個(gè)方面的具體情況,旨在幫助讀者更好地了解在自動(dòng)化推進(jìn)中各階段亟需解決的問題。

一、傳統(tǒng)存儲(chǔ)故障處理流程

1.發(fā)現(xiàn)存儲(chǔ)故障

機(jī)房值班人員通過每天定期現(xiàn)場(chǎng)巡檢,借助存儲(chǔ)物理亮燈可以發(fā)現(xiàn)異常情況并告知存儲(chǔ)運(yùn)維人員進(jìn)行處理。由于人工巡檢頻率較低,發(fā)現(xiàn)異常相對(duì)比較滯后,且存在漏檢可能。為了能及時(shí)發(fā)現(xiàn)存儲(chǔ)設(shè)備存在的告警,早期通過在各存儲(chǔ)管理平臺(tái)配置SNMP Trap,將告警信息由運(yùn)行監(jiān)控中心發(fā)送給存儲(chǔ)運(yùn)維人員。這類告警即時(shí)性相當(dāng)高,有效輔助運(yùn)維人員在第一時(shí)間發(fā)現(xiàn)設(shè)備異常,但告警消息數(shù)目較多且缺乏過濾及壓縮,也給運(yùn)維人員的日常工作帶來了一定的困擾。

2.提交廠商日志確認(rèn)并安排維修

SNMP Trap類告警消息因缺少設(shè)備序列號(hào)、機(jī)柜位置、部件位置、部件規(guī)格等明確信息,無法直接轉(zhuǎn)發(fā)給廠商工程師進(jìn)行設(shè)備報(bào)修,一般需要單獨(dú)收集相關(guān)日志發(fā)送給廠商進(jìn)一步分析,或者需要運(yùn)維人員通過命令行或GUI等工具反饋具體信息給廠商。設(shè)備報(bào)修要求出具相關(guān)部件的準(zhǔn)確信息,而基于一定規(guī)則定制的告警消息無疑將使報(bào)修流程化繁為簡(jiǎn),在日常運(yùn)維中將節(jié)省大量的時(shí)間。

3.納入ITIL流程

存儲(chǔ)硬件更換在制度上納入ITIL流程變更管理,通常需要由存儲(chǔ)運(yùn)維人員在ITIL管理平臺(tái)申請(qǐng)事件工單和變更工單。運(yùn)維人員梳理設(shè)備告警情況,并跟廠商確認(rèn)好部件更換工作,先在ITIL管理平臺(tái)中提出事件工單,然后關(guān)聯(lián)此事件工單創(chuàng)建變更工單。事件工單經(jīng)服務(wù)臺(tái)確認(rèn)后需要運(yùn)維人員反饋事件原因和解決方案。變更工單經(jīng)變更經(jīng)理審核后需運(yùn)維人員制定方案,并依次經(jīng)變更經(jīng)理、室經(jīng)理、分管負(fù)責(zé)人審批后方能實(shí)施。變更實(shí)施完成后,運(yùn)維人員還需要在事件工單和變更工單中說明變更時(shí)間和實(shí)施情況,如圖1所示。

360截圖16251112669372.png

圖1傳統(tǒng)階段存儲(chǔ)故障處理流程示意圖

二、目前存儲(chǔ)故障處理流程

1.發(fā)現(xiàn)存儲(chǔ)故障

引入硬件監(jiān)控平臺(tái),按照一定的時(shí)段輪詢獲取各品牌型號(hào)存儲(chǔ)的告警信息。此類告警較Trap而言即時(shí)性相對(duì)較差,但采用了一定的規(guī)則過濾出等級(jí)較高的信息進(jìn)行推送。告警消息少而精,便于定制,能更好地滿足運(yùn)維人員的日常管理要求。例如,針對(duì)重復(fù)的告警,可以采用壓縮算法,通常可以4小時(shí)報(bào)一次,直到問題解決。針對(duì)info、warning等較低級(jí)別的告警可以實(shí)現(xiàn)過濾,而只給運(yùn)維人員推送error和critical等較高級(jí)別的告警。

2.提交廠商關(guān)鍵信息并派件維修

借助硬件監(jiān)控平臺(tái)的廣泛使用,設(shè)備告警消息通過運(yùn)行監(jiān)控中心按一定規(guī)則拼接后可以發(fā)送給運(yùn)維人員。對(duì)于絕大多數(shù)情況,運(yùn)維人員無需再登陸系統(tǒng)進(jìn)行二次確認(rèn),直接可將告警消息轉(zhuǎn)發(fā)給廠商人員即可安排派件維修。

3.納入ITIL流程

同傳統(tǒng)階段,運(yùn)維人員仍需在日常工作中消耗一定的時(shí)間和精力來申請(qǐng)事件及變更工單并跟進(jìn)流轉(zhuǎn)。如圖2所示。

360截圖16251112669372.png

圖2目前階段存儲(chǔ)故障處理流程示意圖

三、未來存儲(chǔ)故障處理流程

前兩個(gè)階段在變更實(shí)施和ITIL流程管理上,兩條線相對(duì)獨(dú)立尚未進(jìn)行融合,這與自動(dòng)化運(yùn)維管理仍有一定的差距。為進(jìn)一步優(yōu)化日常存儲(chǔ)告警的處理工作,未來應(yīng)著力于在ITIL流程中實(shí)現(xiàn)工單中模板化的東西由系統(tǒng)推送,并根據(jù)監(jiān)控平臺(tái)推送的恢復(fù)告警來自動(dòng)反饋工單的解決方案和實(shí)施情況等信息。

1.發(fā)現(xiàn)存儲(chǔ)故障和判斷故障恢復(fù)

目前硬件監(jiān)控平臺(tái)只能抓取設(shè)備的異常告警,對(duì)于故障修復(fù)后未能生成恢復(fù)類告警,需要人工參與判斷是否完成故障修復(fù)。若監(jiān)控平臺(tái)對(duì)于特定設(shè)備能及時(shí)判斷故障是否修復(fù)并生成恢復(fù)告警,則有益于推進(jìn)ITIL流程的自動(dòng)化管理,極大減少人工參與環(huán)節(jié)。

2.提交廠商關(guān)鍵信息并派件維修

此部分盡可能針對(duì)不同品牌型號(hào)的存儲(chǔ)及不同部件,進(jìn)一步細(xì)化告警信息,從而實(shí)現(xiàn)告警消息轉(zhuǎn)發(fā)后的正常派件維修即可。

3.ITIL流程自動(dòng)化審批

硬件監(jiān)控平臺(tái)將收集到的異常告警及時(shí)推送至智能平臺(tái)。智能平臺(tái)加工整合收集到的異常告警,識(shí)別出常見的壞件告警(例如硬盤、電池告警),并基于選定的時(shí)間范圍,按照既定的模板向ITIL管理平臺(tái)提交事件工單和變更工單申請(qǐng)。變更工單經(jīng)變更經(jīng)理審核確認(rèn)后,由智能平臺(tái)提供模板完成方案制定環(huán)節(jié)的提交。ITIL管理平臺(tái)在事件工單經(jīng)服務(wù)臺(tái)審批后發(fā)送給智能平臺(tái)處理,并將變更工單實(shí)施環(huán)節(jié)發(fā)送至智能平臺(tái)進(jìn)行處理。后續(xù)由硬件監(jiān)控平臺(tái)捕捉設(shè)備告警是否修復(fù),如正常完成修復(fù),向智能平臺(tái)及時(shí)推送恢復(fù)告警消息。智能平臺(tái)最終基于恢復(fù)告警消息,向ITIL管理平臺(tái)反饋實(shí)施情況從而關(guān)閉相關(guān)工單。顯然,智能平臺(tái)承擔(dān)了運(yùn)維人員ITIL流程管理相關(guān)的工作,其對(duì)監(jiān)控告警的識(shí)別和整合發(fā)揮著不可替代的作用。如圖3所示。

360截圖16251112669372.png

圖3未來階段存儲(chǔ)故障處理流程示意圖

綜上所述,為了提升存儲(chǔ)告警處理的自動(dòng)化運(yùn)維管理水平,一方面需要在告警消息的精準(zhǔn)推送上下功夫,在硬件監(jiān)控平臺(tái)新增恢復(fù)告警,減少告警定位和設(shè)備報(bào)修中帶來的時(shí)間人力開銷;另一方面還需要打造智能平臺(tái),促進(jìn)硬件監(jiān)控平臺(tái)和ITIL管理平臺(tái)自然銜接,從而替代運(yùn)維人員做好流程管理的跟進(jìn)及反饋等工作。

徐子晨某商業(yè)銀行存儲(chǔ)工程師:

通過技術(shù)手段構(gòu)建智能自動(dòng)化的生產(chǎn)力工具,已然成為了提高運(yùn)維效率、釋放運(yùn)維壓力、改善運(yùn)維工作的主要模式。

一、引言

銀行金融機(jī)構(gòu)的信息系統(tǒng)根據(jù)監(jiān)管要求信息科技部門都會(huì)建立健全的投產(chǎn)及變更管理機(jī)制、制度與流程,用于承擔(dān)技術(shù)管理工作及日常運(yùn)維保障。存儲(chǔ)管理規(guī)模大、廠商多樣化、設(shè)備數(shù)量、版本、類型眾多、存儲(chǔ)資源管理日趨復(fù)雜;由于設(shè)備數(shù)量眾多,硬盤、電池、電源、控制器、光模塊、光纖線路等故障量也會(huì)相對(duì)增多,日常保障設(shè)備可靠性存在挑戰(zhàn),同時(shí)也產(chǎn)生了很多簡(jiǎn)單且重復(fù)的運(yùn)維流程工作。構(gòu)建存儲(chǔ)網(wǎng)絡(luò)可視化資源圖譜,實(shí)時(shí)監(jiān)控存儲(chǔ)設(shè)備物理部件運(yùn)行狀態(tài),不僅限于硬盤、電源、控制器等重要部件,還要重點(diǎn)關(guān)注存儲(chǔ)網(wǎng)絡(luò)光纖鏈路質(zhì)量、鏈路抖動(dòng)、模塊光功率衰減、鏈路失效和潛在的設(shè)備故障隱患等問題,收集故障日志研究分析,更精準(zhǔn)的儲(chǔ)備備品備件,提高維護(hù)效率,節(jié)約本地倉儲(chǔ)壓力。同時(shí),依托先進(jìn)信息技術(shù)手段的虛擬勞動(dòng)力,根據(jù)預(yù)先設(shè)定的程序、操作指令,實(shí)現(xiàn)業(yè)務(wù)流程由機(jī)器人自動(dòng)處理故障引發(fā)的工單流程和繁復(fù)的人工操作。

二、傳統(tǒng)環(huán)境的存儲(chǔ)運(yùn)維現(xiàn)狀是什么樣的

1)運(yùn)維制度:根據(jù)《中華人民共和國銀行業(yè)監(jiān)督管理辦法》《中華人民共和國商業(yè)銀行法》制定規(guī)范化、標(biāo)準(zhǔn)化的信息技術(shù)服務(wù)平臺(tái),結(jié)合銀行業(yè)ITIL最佳實(shí)踐來指導(dǎo)IT運(yùn)維流程,通過服務(wù)臺(tái)、事件管理、變更管理等業(yè)務(wù)流程對(duì)故障事件進(jìn)行處理,正確報(bào)告進(jìn)展情況,配合運(yùn)維人員解決故障事件。

2)運(yùn)維架構(gòu):通過一體化的運(yùn)維監(jiān)控平臺(tái),運(yùn)維部門往往是第一時(shí)間接收到故障告警的,告警事件會(huì)以短信和工單的方式提交到設(shè)備運(yùn)維人員,運(yùn)維人員會(huì)根據(jù)監(jiān)控平臺(tái)中告警設(shè)備的故障類型、備件類型、數(shù)據(jù)中心位置等一系列信息在IT服務(wù)管理平臺(tái)中提交工單,等待審批,審批通過后方可聯(lián)系設(shè)備廠商進(jìn)行故障備件更換維修。

3)運(yùn)維范圍:包括存儲(chǔ)、光纖交換機(jī)、服務(wù)器等多廠商、多型號(hào)、多配置的硬件設(shè)備;處理邏輯上的、物理上的各類突發(fā)告警事件;根據(jù)相應(yīng)故障事件發(fā)起故障處理流程,跟蹤流程,解決故障。

4)運(yùn)維技能:能準(zhǔn)確識(shí)別并解析各廠商、各型號(hào)、各配置硬件設(shè)備的常規(guī)告警事件,熟練掌握各類型故障處理流程。傳統(tǒng)環(huán)境存儲(chǔ)運(yùn)維流程如圖4所示。

360截圖16251112669372.png

圖4傳統(tǒng)環(huán)境存儲(chǔ)運(yùn)維流程

通過技術(shù)手段實(shí)現(xiàn)運(yùn)維監(jiān)控自動(dòng)化,制度流程提請(qǐng)自動(dòng)化一體化運(yùn)維平臺(tái)結(jié)合RPA技術(shù)和移動(dòng)運(yùn)維理念實(shí)現(xiàn)自動(dòng)化運(yùn)維。

1.運(yùn)維平臺(tái)智能化

作為智能化的運(yùn)維平臺(tái),不僅具備傳統(tǒng)運(yùn)維平臺(tái)大屏展示、配置管理、告警轉(zhuǎn)發(fā)等基礎(chǔ)功能,還要具備故障關(guān)聯(lián)分析、關(guān)鍵閾值動(dòng)態(tài)調(diào)整、量化指標(biāo)趨勢(shì)預(yù)測(cè)和故障預(yù)測(cè)分析等高階功能。通過收集硬件故障計(jì)數(shù)并量化成故障趨勢(shì)圖判斷目標(biāo)設(shè)備的亞健康狀態(tài),在故障發(fā)生前提前處理,防患于未然。例如:SAN交換機(jī)端口或服務(wù)器HBA卡端口光模塊存在自然劣化現(xiàn)象(如圖8),從運(yùn)維監(jiān)控角度講,就是通過sfpshow命令檢索到的接收或發(fā)送光功率的數(shù)值會(huì)發(fā)生緩慢的下降,下面是觀察到的幾種變化曲線(如圖5-圖7所示):

360截圖16251112669372.png

圖5曲線一

360截圖16251112669372.png

圖6曲線二

360截圖16251112669372.png

圖7曲線三

360截圖16251112669372.png

圖8根據(jù)光衰判斷端口健康狀況

針對(duì)告警信息的事件收集,分析判斷存儲(chǔ)鏈路狀態(tài),排除由于日常維護(hù)導(dǎo)致的報(bào)警噪音,如圖9。

360截圖16251112669372.png

圖9分析交換機(jī)間端口狀態(tài)判斷服務(wù)器端狀況排除端口問題

2.巡檢維護(hù)自動(dòng)化

使用RPA對(duì)IT服務(wù)管理平臺(tái)故障硬件更換流程進(jìn)行編排錄制,通過識(shí)別硬件告警平臺(tái)告警信息,解析故障類別、編排提單流程,達(dá)到定時(shí)執(zhí)行全天運(yùn)行,自動(dòng)處理釋放人力,可回滾可追溯且準(zhǔn)確無誤的效果。全線自動(dòng)化運(yùn)維管理如圖10所示。

360截圖16251112669372.png

圖10全線自動(dòng)化運(yùn)維管理

3.應(yīng)急處置移動(dòng)化

最令人頭疼的是故障問題發(fā)生在非工作時(shí)段,故障處理效率會(huì)隨之下降,使用移動(dòng)化處理模式可以在不登錄終端設(shè)備的情況下快速處理問題。存儲(chǔ)交換機(jī)端口出現(xiàn)誤碼往往伴隨著業(yè)務(wù)系統(tǒng)出現(xiàn)交易超時(shí),以下是在移動(dòng)端處理端口中斷的過程(圖11-圖13):

360截圖16251112669372.png

圖11短信告警信息

360截圖16251112669372.png

圖12移動(dòng)平臺(tái)告警信息&系統(tǒng)拓?fù)?/p>

360截圖16251112669372.png

圖13移動(dòng)平臺(tái)停止端口

四、結(jié)語

全線自動(dòng)化運(yùn)維管理依托于傳統(tǒng)運(yùn)維環(huán)境的基礎(chǔ)之上,所有的故障預(yù)測(cè)、流程編排、移動(dòng)化辦公都離不開一個(gè)可靠安心的運(yùn)維底座,只有夯實(shí)IT基礎(chǔ)設(shè)施環(huán)境,提供準(zhǔn)確的數(shù)據(jù)和清晰的運(yùn)維架構(gòu),打通接口,聯(lián)調(diào)各個(gè)工具,才能轉(zhuǎn)變傳統(tǒng)的運(yùn)維模式。

結(jié)束語

上述兩個(gè)案例通過打造存儲(chǔ)智能運(yùn)維平臺(tái),可以讓企業(yè)在存儲(chǔ)故障處理流程自動(dòng)化、巡檢維護(hù)自動(dòng)化、運(yùn)維平臺(tái)智能化、應(yīng)急處置移動(dòng)化等四個(gè)方面有很大幫助,大大提升運(yùn)維故障處置效率,以此轉(zhuǎn)變傳統(tǒng)的存儲(chǔ)運(yùn)維模式,實(shí)現(xiàn)存儲(chǔ)運(yùn)維的智能化、自動(dòng)化轉(zhuǎn)型。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論