本文來自twt企業(yè)IT社區(qū)，作者/趙海。
很多人把DevOps與運維自動化緊綁，認為只有實現(xiàn)了容器化，只有實現(xiàn)了自動編排等等才算是實現(xiàn)了運維的自動化。且不說有多少企業(yè)可以完全實現(xiàn)這種IT轉(zhuǎn)型，就概念本身而言，這也是一種不太合乎邏輯的思維。那么接地氣的運維自動化如何設(shè)計和建設(shè)？
1.何為運維自動化？
何為數(shù)據(jù)中心的自動化運維？很多人把DevOps與運維自動化緊綁，認為只有實現(xiàn)了容器化，只有實現(xiàn)了自動編排等等才算是實現(xiàn)了運維的自動化。且不說有多少企業(yè)可以完全實現(xiàn)這種IT轉(zhuǎn)型，就概念本身而言，我覺得這也是一種不太合乎邏輯的思維。我們來看Gartner對運維自動化的理解“通過運維工具或平臺，實現(xiàn)IT基礎(chǔ)設(shè)施及業(yè)務(wù)應(yīng)用日常任務(wù)處理和運維流程的自動化，從而提高效率和降低風險，促進運維組織的成熟和各種能力的升級”。從傳統(tǒng)企業(yè)數(shù)據(jù)中心運維工程師角度來看，所謂自動化運維，即在最少的人工干預下，結(jié)合運用腳本與第三方工具，保證業(yè)務(wù)系統(tǒng)7*24小時高效穩(wěn)定運行。所以，筆者認為最接地氣的運維自動化即為在企業(yè)數(shù)據(jù)中心原有IT基礎(chǔ)架構(gòu)條件下，能夠?qū)崿F(xiàn)IT資源標準化定義，并且實現(xiàn)運維數(shù)據(jù)采集、加工、分析的自動化流程，最終能保障IT運維的及時性和效率化的建設(shè)體系。
2.運維自動化框架
首先，我們先來從企業(yè)數(shù)據(jù)中心運維發(fā)展的歷史階段來分析運維自動化。從很多傳統(tǒng)企業(yè)來看，尤其是金融企業(yè)的數(shù)據(jù)中心，大部分已經(jīng)經(jīng)歷了三個階段：
（1）復運維工作精簡化的階段，利用標準統(tǒng)一的工作流來避免重復的人力工作；
（2）局部運維工作自動化的階段，在不同的系統(tǒng)上部署針對不同對象的腳本來收集處理運維數(shù)據(jù)；
（3）IT運維平臺整合自動化的階段，平臺實現(xiàn)IT基礎(chǔ)架構(gòu)的半自動化運維。
總結(jié)以上歷史階段的發(fā)展過程，運維自動化的最初目的是為了提高效率和準確率的基礎(chǔ)之上減少人力成本投入。運維具體工作內(nèi)容包括：日常監(jiān)控任務(wù)中的日志配置、數(shù)據(jù)采集、報警過濾等；日常運維任務(wù)當中的腳本執(zhí)行、系統(tǒng)安裝、配置備份、配置檢查、配置變更、補丁分發(fā)等；作業(yè)調(diào)度中的應(yīng)用發(fā)布流程、應(yīng)用部署流程、變更流程、故障處理、災備切換、資源交付等。那么，要實現(xiàn)對以上所有工作內(nèi)容的自動化整合需要經(jīng)歷以下三個步驟的建設(shè)：
首先，實現(xiàn)標準化是實現(xiàn)自動化的前提條件，因為自動化的工作流是必須要在標準化的基礎(chǔ)之上才能實現(xiàn)識別、判斷、處理等相關(guān)動作。標準化又包括資源定義的標準化、工作流程的標準化以及數(shù)據(jù)的標準化；然后，需要選擇數(shù)據(jù)采集的工具和方式，因為所有的自動化動作都是基于數(shù)據(jù)判斷的基礎(chǔ)上采取的后續(xù)步驟；最后需要對采集來的數(shù)據(jù)進行加工處理以及最終的分析和決策，這里面包括常規(guī)性的決策、為后續(xù)采取動作需做的評估和預警、需要根據(jù)數(shù)據(jù)變化及時做出的動態(tài)調(diào)整等。
3.數(shù)據(jù)標準化體系建設(shè)
3.1資源標準化
所謂資源的標準化，涉及到的資源主要包括設(shè)備、系統(tǒng)、軟件等三類對象資源。
針對物理設(shè)備的標準化，首先，我們需要做到對物理設(shè)備的資產(chǎn)定義標準化。例如：對設(shè)備的命名、地址、位置、配置、參數(shù)、管理等一系列屬性信息的定義需要有統(tǒng)一規(guī)劃標準。不一定是一個標準，但是一定要建立一系列標準模板。其次，我們需要對物理設(shè)備的規(guī)劃使用設(shè)置標準。例如：設(shè)備的網(wǎng)絡(luò)配置、遠程控制、存儲配置等方面的配置使用標準。最后，我們需要對設(shè)備使用設(shè)置運維管理標準。例如：設(shè)備當中的硬件環(huán)境的報警閥值規(guī)則定義。
針對系統(tǒng)層面的標準化，首先，與物理設(shè)備類似的資產(chǎn)定義標準化。例如：操作系統(tǒng)的主機名稱、類型、版本等相關(guān)資產(chǎn)屬性信息的標準化定義。其次，關(guān)于系統(tǒng)的標準化配置管理。例如：操作系統(tǒng)的初始化配置（地址、網(wǎng)關(guān)、掩碼、DNS、NTP、內(nèi)核參數(shù)調(diào)優(yōu)、日志、存儲使用、Agent）。最后，我們需要對操作系統(tǒng)設(shè)置運維監(jiān)控標準。例如：CPU使用率、內(nèi)存使用率、硬盤使用率、IO延時、網(wǎng)絡(luò)狀況、進程指標、運行時間等。一方面需要確定運維監(jiān)控的指標，另外一方面需要確定每一個指標或者指標組合的閥值預警判定規(guī)則。
針對軟件（主要是指系統(tǒng)上運行的數(shù)據(jù)庫及應(yīng)用中間件）層面的標準化，首先，我們需要對應(yīng)用中間件的使用進行標準化管理。例如：數(shù)據(jù)庫的類型和版本、同類中間件的類型和版本。其次，需要對所有軟件的初始化以及配置使用進行標準化管理。例如：軟件安裝配置規(guī)范、配置文件規(guī)范、配置腳本規(guī)范、日志收集規(guī)范、端口監(jiān)聽規(guī)范等。最后，我們同樣需要對軟件的運維監(jiān)控設(shè)定標準。也就是需要監(jiān)控的軟件服務(wù)指標體系，以此來判斷軟件提供的服務(wù)的正常與否以及性能如何。
3.2流程標準化
所謂流程標準化就是指在數(shù)據(jù)中心運維管理過程當中涉及到的日常工作流程的標準化管理。如果沒有工作流程的標準化規(guī)范，那么所有的運維工作就會變成隨機性流程，這樣的流程是沒有辦法利用腳本或者軟件工具來實現(xiàn)自動化的。具體說來，數(shù)據(jù)中心運維工作流程的標準化需要做到以下幾個方面：
（1）資源管理流程：包括軟硬件資源的申請、審批、提供、銷毀等；
（2）資源初始化流程：包括操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用等方面的初始化配置工作；
（3）資源動態(tài)管理流程：包括資源在使用過程中根據(jù)監(jiān)控數(shù)據(jù)進行動態(tài)調(diào)整的各類流程；
（4）事件處理流程：包括預警、報警、常規(guī)事件、常規(guī)故障的標準處理流程；
（5）監(jiān)控管理流程：包括監(jiān)控數(shù)據(jù)收集、加工、報送、分析、處理等各環(huán)節(jié)的處理方法及步驟；
（6）應(yīng)急處理流程：預定義的系列應(yīng)急處理流程，例如：流量限制、容災切換。
3.3數(shù)據(jù)標準化
很多做運維平臺的廠家到了客戶現(xiàn)場進行調(diào)研的時候都會發(fā)現(xiàn)一個非常頭痛的問題?？蛻魧嶋H環(huán)境當中的軟件、硬件、應(yīng)用等各方面的日志數(shù)據(jù)會呈現(xiàn)出很多形態(tài)。既有加密日志（日志表現(xiàn)形式為代碼，需要根據(jù)代碼查詢?nèi)罩窘忉屨f明才能定位問題的日志）也有非加密日志；既有字段形式表示的也有不加任何分割的文字串表示的，而且內(nèi)容表示的方式也是各有千秋；既有文本文件也有壓縮包或者其他非文本文件形式；既有保存在數(shù)據(jù)庫的又有保存在目錄當中的?？偠灾\維數(shù)據(jù)從形態(tài)、內(nèi)容、載體等各個方面都沒有經(jīng)過標準化規(guī)范，最終導致運維平臺可做的工作非常有限。
要實現(xiàn)運維自動化，數(shù)據(jù)是前提條件，沒有數(shù)據(jù)的支撐就不會有后續(xù)的預警、報警以及與之相匹配的自動化運維處理過程。因此在系統(tǒng)、中間件、應(yīng)用上線之前的設(shè)計階段，IT運維的標準化規(guī)范就應(yīng)該輸入到規(guī)劃設(shè)計當中。
4.數(shù)據(jù)收集手段和工具的使用
4.1腳本工具
很多人覺得談腳本有點落伍，應(yīng)該談一些高大上的自動化運維集成工具或者產(chǎn)品。其實看到本質(zhì)上，任何自動化運維平臺底層都是靠一些腳本去完成具體工作的，只不過是選取的腳本根據(jù)不同的運維任務(wù)在類型、定義、執(zhí)行方式等方面會有所區(qū)別。拋開上層管理集成平臺，聚焦到腳本本身來看的話，腳本工具在自動化運維過程當中應(yīng)該在以下幾個方面發(fā)揮作用：
（1）數(shù)據(jù)收集：從很多企業(yè)的運維來看，大家都會部署一些腳本來收集硬件、系統(tǒng)、軟件等各維度的運維信息，有些是基于實時執(zhí)行結(jié)果的收集，有些是基于一定周期內(nèi)的日志文件內(nèi)容；
（2）數(shù)據(jù)加工：面對大量的原始日志信息，相信依靠人力去完成價值信息的提煉是比較耗費時間的，這個時候就需要腳本基于已經(jīng)收集的原始日志信息進行重復加工，最終提煉價值信息。
（3）任務(wù)流程處理：所謂任務(wù)處理就是要根據(jù)預定義的一些需求輸入數(shù)據(jù)，串聯(lián)或者并聯(lián)一些工作步驟，從而完成一個完整的運維任務(wù)工作流程，例如：系統(tǒng)初始化、軟件安裝、資源擴展；
4.2工具使用
首先，多數(shù)實現(xiàn)運維自動化的思維是選擇一個大而全的產(chǎn)品，然后讓這個產(chǎn)品滲透到運維工作的各個維度，從而實現(xiàn)整體的自動化。但是結(jié)果往往差強人意，你選擇的產(chǎn)品最終沒有辦法與你現(xiàn)有的環(huán)境非常融洽的相處，所謂的自動化只是一個局部而已。所以，筆者認為真正落地的思路是先選擇設(shè)計好運維工作每一個角落的腳本工具，然后再考慮上層的管理整合。
其次，當我們在聚焦于某一個數(shù)據(jù)采集環(huán)節(jié)或者某一個運維工作任務(wù)的工具的時候，要考慮到工具本身的擴展性以及交互性。比如Shell和Python，大多數(shù)數(shù)據(jù)采集的工具都是用Shell實現(xiàn)的，無論從效率上還是從與系統(tǒng)的融洽度角度來考慮，它都是最佳選擇。但是某些需要人機交互的自動化任務(wù)就只能靠Python了，比如輸入登錄信息這個操作。
再次，從運維管理整體的集成角度，我們需要考慮到頂層運維工作和底層運維任務(wù)的整合邏輯。完整的運維工作解耦分解之后就是一個個聚焦到有限動作的運維任務(wù)，但是這些運維任務(wù)要組成一個完整的運維工作流是需要嚴密的判斷邏輯和控制機制的。
5.運維數(shù)據(jù)分析及自動化決策
運維自動化與監(jiān)控自動化最大的區(qū)別就在于是否有后續(xù)的動作。當我們把所有的運維數(shù)據(jù)都采集完成并且按照既定邏輯進行加工處理之后，就下來就是價值信息的提取和有效動作的實施。
什么是價值信息的提取呢？舉個例子：比如我們想看存儲設(shè)備的負載是否正常，是否需要調(diào)整資源配置？傳統(tǒng)模式下，工程師需要收集存儲上的各種性能日志（端口性能、存儲控制器CPU及緩存、存儲卷的IO性能、吞吐量等等），而且是需要收集一定周期內(nèi)的均值和峰值數(shù)據(jù)。然后綜合判斷之后，決策需要調(diào)整資源或者無需調(diào)整。如果是自動化運維，我們就需要把工程師如何分析和判斷的邏輯以及經(jīng)驗設(shè)計到腳本當中。邏輯可以提煉成算法，經(jīng)驗可以提煉為歷史數(shù)據(jù)的概率算法。
什么是有效動作的實施呢？舉個例子：比如大多數(shù)金融企業(yè)都會面臨的購物刷卡的特殊節(jié)日或者時間段，如果是可預知的情況，很多相關(guān)的工程師會提前值守，應(yīng)用工程師實時觀察應(yīng)用處理業(yè)務(wù)的情況，IT工程師觀察計算、網(wǎng)絡(luò)、存儲等各類資源的使用情況，一旦監(jiān)控出現(xiàn)異常情況，IT工程師會把提前準備好的相關(guān)服務(wù)器資源安裝配置好應(yīng)用之后丟進資源池，這是通常的應(yīng)急處理方法。如果是自動化運維，我們就需要把工程師對應(yīng)用、系統(tǒng)、網(wǎng)絡(luò)等各方面實時監(jiān)控到的信息進行判斷的邏輯進行標準固化，同時需要將準備資源、初始化資源、分配資源以及對外提供服務(wù)的一系列操作進行腳本化。
6.結(jié)語
總結(jié)而言，運維自動化是企業(yè)IT運維追求的重要目標。實現(xiàn)運維自動化的前提條件在于標準化，保障運維自動化質(zhì)量的關(guān)鍵在于運維數(shù)據(jù)的利用，落地運維自動化項目的思路在于從下往上的設(shè)計思路。
