本文來(lái)自微信公眾號(hào)“腦極體”,作者/藏狐。
對(duì)宇宙深空的向往和好奇,是深植于中華民族基因中的浪漫。宋代詩(shī)人曾發(fā)出疑問(wèn):?jiǎn)柵_(tái)家、山河宇宙,是誰(shuí)擎托。
數(shù)字時(shí)代,這個(gè)問(wèn)題的答案,應(yīng)該是存儲(chǔ)。
我們?cè)稍L過(guò)一位深度學(xué)習(xí)與行星遙感影像處理方向的中科院博士,對(duì)方提到,傳統(tǒng)空間科學(xué)項(xiàng)目,不管是月球、火星還是深空探測(cè),采集到的所有圖像和數(shù)據(jù),都要全部先傳回到地面上,再逐個(gè)處理。
如此大規(guī)模的高清遙感影像數(shù)據(jù),有的甚至需要存上幾十年之久,用以科學(xué)研究。而這僅僅只是遙感的應(yīng)用方向之一。今天,遙感衛(wèi)星被用于農(nóng)業(yè)、林業(yè)、海洋、國(guó)土、環(huán)保、氣象等多個(gè)領(lǐng)域,為數(shù)字中國(guó)的建設(shè)提供必要的數(shù)據(jù)支撐。
以數(shù)據(jù)洞悉山河,需要強(qiáng)大的存儲(chǔ)底座作為擎托。
以農(nóng)田為例,遙感衛(wèi)星的數(shù)據(jù),要精確到每一株小麥的圖像。這其中所需要的存儲(chǔ)資源,幾乎是天文數(shù)字。在這個(gè)時(shí)代考驗(yàn)面前,中國(guó)遙感行業(yè)和存儲(chǔ)行業(yè)的雙重力量,確實(shí)做到了有所擔(dān)當(dāng)。
長(zhǎng)光衛(wèi)星,是我國(guó)第一家商業(yè)遙感衛(wèi)星公司,集研發(fā)制造、運(yùn)營(yíng)管理和遙感信息服務(wù)于一體。在商業(yè)遙感這個(gè)充分競(jìng)爭(zhēng)的市場(chǎng),曙光存儲(chǔ)連續(xù)多年為長(zhǎng)光衛(wèi)星提供存儲(chǔ)服務(wù),累計(jì)提供存儲(chǔ)空間超過(guò)20PB,支撐從數(shù)據(jù)采集、應(yīng)用到歸檔的全生命周期管理。
它們一路攜手的故事,或許能滿足大家的好奇心:建設(shè)數(shù)字中國(guó),衛(wèi)星遙感和存儲(chǔ)究竟是怎么組CP的?
存儲(chǔ)變革
回應(yīng)星河深處的呼喚
簡(jiǎn)單介紹一下,遙感數(shù)據(jù)主要來(lái)源于外層空間遙感平臺(tái)的衛(wèi)星,根據(jù)實(shí)際需求來(lái)設(shè)計(jì),返回各行業(yè)所需要的數(shù)據(jù)。
比如氣象衛(wèi)星的遙感數(shù)據(jù),可繪制天氣圖,幫助監(jiān)測(cè)臺(tái)風(fēng)、颶風(fēng)、云頂溫度等狀況,對(duì)極端天氣及時(shí)做出預(yù)警,是航行、捕魚(yú)、農(nóng)作物、城市生活中必不可少的一類數(shù)據(jù)。陸地資源衛(wèi)星所采集的地球表面圖像數(shù)據(jù),會(huì)被用于國(guó)土普查、資源勘探、工程選址等,你我日常使用的導(dǎo)航地圖,也有它的一份功勞。
到了數(shù)字時(shí)代,遙感行業(yè)也與時(shí)俱進(jìn),發(fā)出了擁抱新技術(shù)的呼喚,與深度學(xué)習(xí)、大模型等AI技術(shù)相結(jié)合,產(chǎn)生了大量前沿探索應(yīng)用,也對(duì)存儲(chǔ)基礎(chǔ)設(shè)施提出了挑戰(zhàn),具體要從遙感的“天地之變”說(shuō)起。
首先,天之變。
空中,衛(wèi)星載荷數(shù)據(jù)類型越來(lái)越多,對(duì)存儲(chǔ)提出了新的要求。
比如,遙感數(shù)據(jù)類型眾多,既有數(shù)十G的高分辨率成像數(shù)據(jù)、100M的中速載荷數(shù)據(jù),也有1M的衛(wèi)星平臺(tái)健康管理數(shù)據(jù)等,這些異構(gòu)數(shù)據(jù)所需要的存儲(chǔ)能力各不相同,極大地增加了存儲(chǔ)的復(fù)雜度和成本。
再比如,遙感數(shù)據(jù)的實(shí)時(shí)性增強(qiáng)。以氣象衛(wèi)星為例,大家對(duì)氣象預(yù)測(cè)精度的要求越來(lái)越高,從以天為單位,提高到以小時(shí)為單位。要滿足實(shí)時(shí)信息采集、處理的需求,要更快速和便捷地獲取數(shù)據(jù),對(duì)存儲(chǔ)性提出了更苛刻的要求。
此外,衛(wèi)星載荷信息,直接關(guān)系到國(guó)家基礎(chǔ)信息安全,存儲(chǔ)的核心技術(shù)和軟硬件產(chǎn)品,必須全棧自主可控,才能為遙感行業(yè)的發(fā)展提供堅(jiān)實(shí)的支撐。
總結(jié)一下,遙感行業(yè)對(duì)高性能、高性價(jià)比和高安全的天基存儲(chǔ)需求日益迫切。
接下來(lái),我們將目光轉(zhuǎn)向地面,聊聊遙感數(shù)據(jù)的“地之變”。
遙感衛(wèi)星采集的原始數(shù)據(jù),要下傳到地面站系統(tǒng),來(lái)支持各類遙感應(yīng)用。其中,存儲(chǔ)系統(tǒng)是地基部分的核心基礎(chǔ)架構(gòu),也是遙感數(shù)據(jù)的最終承載體。
近年來(lái),遙感領(lǐng)域的地基存儲(chǔ)也在發(fā)生一系列變化:
1.存的下。以人工智能、大數(shù)據(jù)、IoT等為核心的新一代信息技術(shù),在數(shù)字經(jīng)濟(jì)中得到了越來(lái)越廣泛的應(yīng)用,帶來(lái)了帶來(lái)了海量數(shù)據(jù)井噴。比如火爆的AI大模型,訓(xùn)練AI遙感大模型需要用到超大規(guī)模、多模態(tài)的遙感數(shù)據(jù)進(jìn)行訓(xùn)練,地基存儲(chǔ)必須具備海量數(shù)據(jù)存儲(chǔ)和歸檔能力,為后續(xù)業(yè)務(wù)提供支撐。
2.取得快。遙感數(shù)據(jù)在多個(gè)行業(yè)開(kāi)始發(fā)揮應(yīng)用,比如智慧農(nóng)業(yè)中就使用遙感技術(shù)來(lái)為農(nóng)業(yè)無(wú)人機(jī)、無(wú)人車提供導(dǎo)航,越來(lái)越多的業(yè)務(wù)開(kāi)展,需要實(shí)時(shí)計(jì)算、高并發(fā)、高效穩(wěn)定擴(kuò)展、混合負(fù)載等能力,來(lái)支撐盡可能多的并發(fā)應(yīng)用,充分釋放遙感數(shù)據(jù)在數(shù)字經(jīng)濟(jì)中的價(jià)值。
中國(guó)國(guó)家航天局在“‘十四五’及未來(lái)一個(gè)時(shí)期發(fā)展重點(diǎn)規(guī)劃”中指出,要不斷增強(qiáng)衛(wèi)星應(yīng)用服務(wù)能力,支撐經(jīng)濟(jì)社會(huì)發(fā)展。
可以肯定,十四五期間,商業(yè)遙感會(huì)迎來(lái)黃金發(fā)展期,在數(shù)字中國(guó)建設(shè)中發(fā)揮必不可少的作用。這時(shí)候,商業(yè)遙感就迫切需要一個(gè)強(qiáng)大的存儲(chǔ)伙伴。作為“國(guó)家隊(duì)”的曙光存儲(chǔ),就率先扛起擔(dān)當(dāng)。
曙光為階
托起遙感行業(yè)的進(jìn)化
技術(shù)創(chuàng)新,是推動(dòng)遙感行業(yè)發(fā)展的核心動(dòng)力。商業(yè)遙感與數(shù)字山河之間,曙光存儲(chǔ)憑借技術(shù)積累和應(yīng)用理解,用一層層堅(jiān)實(shí)的臺(tái)階,支撐商業(yè)遙感向千行百業(yè)平穩(wěn)落地。
第一層臺(tái)階:基礎(chǔ)性能,讓遙感數(shù)據(jù)更可用。
存得下、存得快,是遙感數(shù)據(jù)存儲(chǔ)的基本要求。曙光存儲(chǔ)通過(guò)內(nèi)存統(tǒng)一管理、存儲(chǔ)線程專核專用、磁盤精細(xì)化管理和數(shù)據(jù)IO通路的深度優(yōu)化,幫助長(zhǎng)光衛(wèi)星實(shí)現(xiàn)客戶端單流寫入達(dá)到10GB/s的帶寬水平,確保衛(wèi)星過(guò)境時(shí)數(shù)據(jù)能快速寫入,讓用戶更快速和便捷地獲取遙感數(shù)據(jù)。
第二層臺(tái)階:精細(xì)控制,讓遙感服務(wù)更好用。
用得好、用得快,是遙感數(shù)據(jù)進(jìn)一步發(fā)揮價(jià)值的前置條件。曙光存儲(chǔ)在數(shù)據(jù)處理、分發(fā)等各個(gè)環(huán)節(jié),為長(zhǎng)光衛(wèi)星量身制定精細(xì)化的權(quán)限管理功能,無(wú)論在Windows還是Linux客戶端,都可以對(duì)讀、寫、刪除、權(quán)限修改等操作做精準(zhǔn)控制,且對(duì)百萬(wàn)級(jí)目錄權(quán)限設(shè)置可達(dá)到毫秒級(jí)響應(yīng),極大的提高數(shù)據(jù)處理和數(shù)據(jù)管理的效率。為遙感數(shù)據(jù)的深度分析、價(jià)值挖掘與其他數(shù)據(jù)源的融合等,奠定了基礎(chǔ),可以讓遙感數(shù)據(jù)應(yīng)用服務(wù),在智能化、數(shù)字化進(jìn)程中,發(fā)揮更大的作用。
第三層臺(tái)階:可持續(xù)發(fā)展,讓遙感行業(yè)行穩(wěn)致遠(yuǎn)。
前面提到,遙感影像數(shù)據(jù)的類別復(fù)雜、用途多樣,因此,分級(jí)存儲(chǔ)是一種常用的存儲(chǔ)策略,而針對(duì)冷數(shù)據(jù)、溫?cái)?shù)據(jù)、熱數(shù)據(jù)的不同存儲(chǔ)組件,需要“強(qiáng)運(yùn)維”,又會(huì)帶來(lái)較大的成本。因此,曙光存儲(chǔ)的自動(dòng)分級(jí),就能夠讓遙感數(shù)據(jù),以更低成本、更高效率、更可持續(xù)的方式來(lái)存儲(chǔ)。
具體來(lái)說(shuō),分級(jí)存儲(chǔ)對(duì)熱數(shù)據(jù),比如常用的、最新的、需要快速訪問(wèn)的數(shù)據(jù),提供在線存儲(chǔ)。而一些存放較久、可能需要訪問(wèn)的溫?cái)?shù)據(jù),則使用近線存儲(chǔ)。需要長(zhǎng)期保存但并不常用的冷數(shù)據(jù),則采用離線保存,通過(guò)機(jī)械手或人工操作來(lái)提取數(shù)據(jù)。
曙光存儲(chǔ)自動(dòng)分級(jí)存儲(chǔ)策略可充分利用存儲(chǔ)資源,確保數(shù)據(jù)在熱、溫、冷存儲(chǔ)池自動(dòng)流動(dòng),極大的提高數(shù)據(jù)訪問(wèn)的效率,同時(shí)綜合降低存儲(chǔ)成本,為商業(yè)遙感提供安全可靠、綠色節(jié)能、低成本的存儲(chǔ)服務(wù)。
從中可以看到,在遙感市場(chǎng)和行業(yè)應(yīng)用之間,從星河深處到煙火人間,曙光存儲(chǔ)修筑了可用、好用、可持續(xù)的一個(gè)個(gè)臺(tái)階,最終將二者連接在一起,推動(dòng)遙感行業(yè)發(fā)揮更大的社會(huì)效益和經(jīng)濟(jì)效益。
用數(shù)賦智的大潮中,各行業(yè)都需要充分融合數(shù)據(jù)資源,最大化發(fā)揮存儲(chǔ)基礎(chǔ)設(shè)施的價(jià)值。從這個(gè)角度看,數(shù)字中國(guó)的建設(shè)過(guò)程中,遙感數(shù)據(jù)潛力無(wú)限,遙感行業(yè)大有可為,而遙感點(diǎn)亮數(shù)字山河之前,存儲(chǔ)底座必須更堅(jiān)實(shí)、更強(qiáng)大一點(diǎn)。
星耀中華,存納天下,當(dāng)我們踏著曙光存儲(chǔ)的臺(tái)階,在深空和大地都刻下“中國(guó)科技自立”的腳印,也就離數(shù)字經(jīng)濟(jì)的黃金年代,更近了一點(diǎn)。