人工智能如何提升大數據存儲與管理效率?

物聯網
物聯網
隨著大數據的大量來源以及企業(yè)可用數據量的增加,存儲容量規(guī)劃已成為存儲管理員的問題。據估計,每天產生2.5萬億字節(jié)的數據?,F在,如果以神經元計算的話,那就是相當于2.5億個人類大腦的海量數據。而且,相同的估計表明,全球總數據的90%是從2016年到2018年生成的。

隨著大數據的大量來源以及企業(yè)可用數據量的增加,存儲容量規(guī)劃已成為存儲管理員的問題。據估計,每天產生2.5萬億字節(jié)的數據?,F在,如果以神經元計算的話,那就是相當于2.5億個人類大腦的海量數據。而且,相同的估計表明,全球總數據的90%是從2016年到2018年生成的。

可以簡單地說,每天生成越來越多的數據,這正增加了存儲工作負載的規(guī)模和復雜性。但是,人工智能可以拯救存儲管理員,幫助他們高效地存儲和管理數據。通過使用AI數據存儲,供應商和企業(yè)可以將存儲管理提升到一個新的水平。而且,存儲管理員可以找到他們目前正在努力管理的指標的解決方案。

存儲管理員需要努力的主要指標

存儲管理員在管理存儲問題時面臨一些挑戰(zhàn)。而且,如果他們克服了這些挑戰(zhàn),將幫助他們在數據存儲的各個方面之間找到適當的平衡,例如在哪里分配工作負載,如何分配工作負載以及如何優(yōu)化堆棧等等。

一般而言,吞吐量是指處理某事物的速率。在網絡級別,吞吐量的度量單位是Mbps(兆位/秒),而在存儲級別,吞吐量的度量單位是MB /秒(兆字節(jié)/秒)。由于一個字節(jié)等于八兆位,因此生產率在存儲級別上提高了。并且,變得難以管理提高的生產率。

延時

延遲是服務器完成請求所花費的時間。關于存儲,這是指滿足單個存儲塊的請求所花費的時間。存儲塊或塊存儲是將數據存儲在卷中的塊。純延遲不受吞吐量影響,但是如果單個塊請求很大,則應用延遲可能會隨著吞吐量的增加而偏離。

IOPS(每秒輸入/輸出操作)

IOPS是指存儲堆棧每秒可以處理的離散讀寫任務的數量。存儲堆棧是一種允許過程調用的數據結構。這意味著將多個過程彼此存儲在堆棧中,然后在調用和返回的基礎上一個接一個地執(zhí)行所有過程。例如,如果一個過程被調用,它將被執(zhí)行,然后返回,以便在堆棧中調用下一個過程。而且,在談論IOPS時,基礎輸入/輸出任務可以達到存儲系統(tǒng)的堆棧限制。例如,讀取一個大文件和多個小文件可能會對IOPS產生影響。由于讀取單個大文件僅需要執(zhí)行一個讀取任務,因此可以以較高的速度執(zhí)行它,而另一方面,讀取多個文件的速度非常慢,因為需要執(zhí)行許多讀取任務。

AI數據存儲如何解決存儲問題

企業(yè)管理員和存儲供應商處理各種各樣的存儲類型。而且,它們還滿足不同輸入/輸出服務的指標。大型文件共享應用可能需要適當的吞吐量,但也必須允許延遲損失,因為大型而復雜的應用可能會對延遲產生不利影響。另一方面,電子郵件服務器可能需要大量存儲,低延遲和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。并且,存儲管理員應該決定應該為哪些存儲分配什么資源。因此,在組織中運行著成千上萬的服務時,對基礎存儲的管理超過了人們進行明智更改的能力。而且,這就是AI算法派上用場的地方。

人工智能支持的存儲管理和計劃

AI可以監(jiān)控存儲以檢測多種工作負載的模式和性能。這里的工作負載是由各種輸入/輸出特征或應用任務生成的數據流。通過檢測這些工作負載模式,AI可以幫助存儲管理員洞悉哪些工作負載可能使他們面臨最大化存儲陣列的風險。此外,存儲監(jiān)視還可以幫助了解是否有任何額外的工作負載可以放入陣列中。而且,如果添加到陣列中,那么工作負載將造成多少中斷。

例如,假設一家企業(yè)正在向流程中添加電子郵件服務器。在這種情況下,人工智能系統(tǒng)可以幫助預測存儲陣列將能夠滿足該服務器的存儲需求還是將其最大化。借助此類技術,存儲管理員可以主動獲取有關如何將不同的工作負載分配給不同的存儲堆棧并最大程度地減少延遲的信息。因此,將AI集成到存儲陣列,存儲供應商和組織中可以優(yōu)化存儲堆棧。

除了監(jiān)視存儲活動外,存儲管理員還需要檢查和分析存儲系統(tǒng)要使用的應用的編碼和錯誤。這有助于他們更好地了解如何圍繞應用的需求設計存儲體系結構。他們通過了解應用的輸入/輸出模式來做到這一點。用于執(zhí)行此操作的最常見技術是捕獲應用的跟蹤。

Strace是Linux的用戶空間實用程序,可用于診斷、調試和獲取有關輸入和輸出功能的指令。但是,由于復雜的應用可以具有多個輸入/輸出功能,因此這對人類來說可能是一個挑戰(zhàn)。另一方面,ML算法可以輕松地提取和分析大量數據,并解決許多存儲問題,最好是通過查看存儲系統(tǒng)本身來解決。此外,通過使用大量數據訓練算法,以了解特定堆?;蛘麄€應用如何收集和存儲數據,它們可以幫助實現對該特定應用存儲活動的實時觀察,以防止堆棧最大化并改善存儲容量。

AI數據存儲可滿足客戶需求

遙測數據是自動記錄和無線傳輸來自遠程或不可訪問來源的數據。遙測以下列方式起作用:傳感器在源處測量數據,它們將其轉換為電壓,然后將其與定時數據合并為單個數據流,該數據流將傳輸到遠程接收器。接收后,可以根據用戶要求對數據進行處理。

AI的計算機視覺技術可以掃描遙測數據,以保護存儲陣列免受漏洞侵害。當使用有關漏洞的歷史數據進行訓練時,機器學習算法可以將來自各種應用程序的傳入數據與歷史數據進行匹配,以發(fā)現漏洞的可能性。因此,借助AI的預測分析,存儲供應商可以著眼于在遇到客戶之前防止存儲問題。

AI數據存儲仍處于起步階段,但已經顯示出了驚人的結果。而且,因此云供應商和其他存儲管理員正在對AI進行越來越多的投資,以使用超融合存儲系統(tǒng)進行存儲維護。采用主流AI數據存儲肯定會幫助企業(yè)控制上述所有指標,并為其客戶提供更好的服務。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論