2020年發(fā)生的冠狀病毒疫情強(qiáng)調(diào)了快速分析和解釋數(shù)據(jù)的重要性，以及人工智能和機(jī)器學(xué)習(xí)在明智決策中發(fā)揮的重要作用。在醫(yī)療研究機(jī)構(gòu)研發(fā)疫苗的過程中，人們見證了機(jī)器學(xué)習(xí)可以用來拯救生命的實際應(yīng)用，這推動了所需的數(shù)據(jù)訓(xùn)練以及對人工智能用于實時推理模型的持續(xù)微調(diào)。
因為經(jīng)過更好訓(xùn)練的模型可以產(chǎn)生更快、更精確的人工智能系統(tǒng)，所以人工智能面臨的最大挑戰(zhàn)是正確訓(xùn)練其機(jī)器學(xué)習(xí)模型。
訓(xùn)練有素的機(jī)器學(xué)習(xí)模型必須穩(wěn)定地攝取大量數(shù)據(jù)，這樣才能適應(yīng)和改進(jìn)。隨著訓(xùn)練數(shù)據(jù)集的增長，學(xué)習(xí)算法的性能會越來越好、變得越來越準(zhǔn)確。總而言之，數(shù)據(jù)越多，結(jié)果越好。顯然，獲得海量數(shù)據(jù)需要大量存儲空間，但是在這種情況下，并不是所有存儲解決方案都是一樣的。當(dāng)組織評估如何更好地采用人工智能/機(jī)器學(xué)習(xí)應(yīng)用程序時，必須在這一過程中不要忽略存儲基礎(chǔ)設(shè)施。
組織能否成功地從模型訓(xùn)練所需的龐大且不斷增長的數(shù)據(jù)集中篩選出可行的見解，并從中收集可行的見解，這取決于其存儲架構(gòu)能否滿足數(shù)據(jù)管道各個階段的極端苛刻要求。
對象存儲是支持有效機(jī)器學(xué)習(xí)模型必不可少的7個原因
坦率地說，對象存儲是唯一可以幫助解決人工智能/機(jī)器學(xué)習(xí)的模型訓(xùn)練難題合適的解決方案，以下是為什么對象存儲是最合適的原因：
•無限的可擴(kuò)展性
大量的數(shù)據(jù)需要大量的存儲，而人工智能/機(jī)器學(xué)習(xí)工作負(fù)載需要一種可以隨數(shù)據(jù)增長而無限擴(kuò)展的解決方案。傳統(tǒng)文件和塊存儲解決方案將在數(shù)百TB后達(dá)到可擴(kuò)展性的上限。對象存儲是唯一可以在單個全局命名空間中無限擴(kuò)展到數(shù)十PB甚至更多的存儲類型。通過隨時隨地?zé)o中斷地部署新節(jié)點，根據(jù)需求能夠進(jìn)行彈性無縫擴(kuò)展是一個巨大的優(yōu)勢。
•內(nèi)置的數(shù)據(jù)保護(hù)
定期備份數(shù)PB的訓(xùn)練數(shù)據(jù)集不僅耗費(fèi)時間，而且并不現(xiàn)實。根據(jù)設(shè)計，大多數(shù)對象存儲系統(tǒng)都不需要備份。與其相反，它們存儲的數(shù)據(jù)具有足夠的冗余，因此始終受到保護(hù)。由于對象存儲解決方案通常被設(shè)計為分布式架構(gòu)(并行運(yùn)行的分布式服務(wù)器的集合，不需要使用特殊機(jī)器來提供或管理特定服務(wù))，因此所有職責(zé)都是分開的，不需要采用中央“控制”的機(jī)器。因此，其架構(gòu)中的單點故障(SPOF)的風(fēng)險為零。分布式對象存儲系統(tǒng)具有自我修復(fù)功能，可以提供極高的數(shù)據(jù)持久性。系統(tǒng)可以配置為容忍多個節(jié)點甚至分布式數(shù)據(jù)中心發(fā)生的故障。
•固有的元數(shù)據(jù)搜索和分類
在構(gòu)建和訓(xùn)練有效的機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)準(zhǔn)備階段中，必須有詳細(xì)的描述性元數(shù)據(jù)，這使得輕松標(biāo)記、搜索、定位和分析數(shù)據(jù)成為可能。存儲架構(gòu)會影響收集元數(shù)據(jù)的能力。文件和塊系統(tǒng)不支持應(yīng)用程序或用戶定義的擴(kuò)展屬性，但對象存儲系統(tǒng)提供了獨特的方法，可以使用極其豐富、可自定義的元數(shù)據(jù)來標(biāo)識數(shù)據(jù)。其不受限制的性質(zhì)使標(biāo)簽易于標(biāo)記、具有強(qiáng)大而快速的可搜索性，以及有效管理大型數(shù)據(jù)集。
•多租戶功能
通過多租戶隔離工作負(fù)載，使多個數(shù)據(jù)科學(xué)家團(tuán)隊可以同時使用同一數(shù)據(jù)源，而不會互相影響或爭奪資源。為服務(wù)多租戶用例而設(shè)計的對象存儲系統(tǒng)使得從一個可擴(kuò)展的、與AWS S3兼容的接口中安全地管理租戶數(shù)據(jù)變得更加簡單。
•持續(xù)的吞吐量性能可縮短訓(xùn)練時間
以最佳速率維持?jǐn)?shù)據(jù)管道的能力對于訓(xùn)練機(jī)器學(xué)習(xí)模型至關(guān)重要。要快速獲得結(jié)果，就需要提高基礎(chǔ)設(shè)施的效率，否則在龐大的數(shù)據(jù)集上運(yùn)行的計算將被減慢或中斷?，F(xiàn)代的對象存儲系統(tǒng)可保持高數(shù)據(jù)吞吐量，此外，還可進(jìn)行橫向擴(kuò)展以獨立和線性地提高整體系統(tǒng)容量和性能。這可以通過以存儲服務(wù)器的形式添加系統(tǒng)資源來實現(xiàn)，這些資源可以提供要由存儲軟件作為單個存儲池進(jìn)行管理的計算(CPU和內(nèi)存)和容量(閃存和HDD硬盤)。
•人工智能/機(jī)器學(xué)習(xí)算法在云中運(yùn)行：無論數(shù)據(jù)位于何處，與公共云的集成都非常重要，尤其是當(dāng)公共云平臺為人工智能/機(jī)器學(xué)習(xí)提供了一些現(xiàn)成的且有吸引力的工具集時。在架構(gòu)上，對象存儲更適合訓(xùn)練和調(diào)整機(jī)器學(xué)習(xí)模型，因為對象存儲憑借其事實上的語言——AWS S3 API，可以在內(nèi)部部署/私有云環(huán)境與公共云存儲之間進(jìn)行無縫訪問和移動。最好的對象存儲解決方案使用戶能夠在一個統(tǒng)一的命名空間中管理基于云計算的數(shù)據(jù)和內(nèi)部部署數(shù)據(jù)，消除了數(shù)據(jù)孤島，并允許資源在不損失任何功能的情況下進(jìn)行協(xié)作和交換。
•較低的總體擁有成本(TCO)
專為人工智能/機(jī)器學(xué)習(xí)工作負(fù)載設(shè)計的存儲基礎(chǔ)設(shè)施不僅必須提供容量和性能，而且還必須提供存儲、移動和管理最佳模型訓(xùn)練所需的數(shù)PB數(shù)據(jù)的成本效益。通過利用標(biāo)準(zhǔn)服務(wù)器技術(shù)以及在單個系統(tǒng)中進(jìn)行大規(guī)模操作的能力，對象存儲可以成批地交付，而成本只有傳統(tǒng)專有企業(yè)存儲成本的一小部分。軟件定義的解決方案可以托管在成本較低的標(biāo)準(zhǔn)x86服務(wù)器上，并且可以跨多代硬件發(fā)展以降低成本。
尋求實現(xiàn)其人工智能應(yīng)用程序全部價值的組織必須了解正確訓(xùn)練和微調(diào)其機(jī)器學(xué)習(xí)模型的關(guān)鍵性質(zhì)和潛在挑戰(zhàn)。明智的組織會在選擇正確的存儲基礎(chǔ)設(shè)施方面像在計算需求方面一樣謹(jǐn)慎。而對象存儲解決方案為最終提取快速準(zhǔn)確的分析洞察力、挽救生命和其他方面提供了最佳的基礎(chǔ)。
