基于虛擬數(shù)據(jù)空間的存算協(xié)同調(diào)度系統(tǒng)優(yōu)化了廣域環(huán)境中的全局資源利用，支持海量數(shù)據(jù)跨域存儲管理與高效處理，可有效提高存儲資源的訪問效率，實現(xiàn)存儲與計算的協(xié)同調(diào)度。
北京航空航天大學(xué)的肖利民教授所在團隊基于GVDS系統(tǒng)研究了存儲與計算協(xié)同調(diào)度策略，并實現(xiàn)了一個存算協(xié)同調(diào)度系統(tǒng)。該系統(tǒng)綜合考慮數(shù)據(jù)布局、存算資源狀態(tài)、容量限制等多方面因素，可合理選擇任務(wù)和數(shù)據(jù)的優(yōu)化調(diào)度策略，實現(xiàn)在廣域范圍內(nèi)高效的計算任務(wù)分配和數(shù)據(jù)布局，提高了環(huán)境資源利用率，也提升了應(yīng)用計算效率。該研究以“面向大數(shù)據(jù)處理應(yīng)用的廣域存算協(xié)同調(diào)度系統(tǒng)”為題發(fā)表在《大數(shù)據(jù)》2021年第5期。
01
廣域存儲和計算協(xié)同面臨哪些挑戰(zhàn)？
當前，國內(nèi)外紛紛投入大量資源建立跨多超級計算中心的廣域高性能計算環(huán)境，旨在提供規(guī)模更大、性能更強的數(shù)據(jù)處理平臺，以支撐科學(xué)發(fā)現(xiàn)和科技創(chuàng)新。然而高效地利用廣域高性能計算環(huán)境支撐大數(shù)據(jù)的存儲管理以及高效處理仍然面臨如下挑戰(zhàn)：（1）如何形成全局數(shù)據(jù)空間，進而支持廣域分散數(shù)據(jù)的存儲、管理、傳輸、訪問的統(tǒng)一管理；（2）如何實現(xiàn)廣域環(huán)境中數(shù)據(jù)與計算任務(wù)的協(xié)同調(diào)度，以優(yōu)化多中心存儲與計算資源的利用，支撐海量數(shù)據(jù)的跨中心高效處理。海量數(shù)據(jù)的跨域高效處理需要高效的存算協(xié)同調(diào)度技術(shù)。
02
計算協(xié)同調(diào)度策略具有哪些優(yōu)勢？
針對上述問題，作者所在團隊提出了3種調(diào)度策略（存算協(xié)同調(diào)度策略、負載均衡調(diào)度策略、數(shù)據(jù)局部性調(diào)度策略）存儲與計算協(xié)同調(diào)度策略。這3種策略都能較好地匹配數(shù)據(jù)與計算作業(yè)。與單點運行策略相比，存算協(xié)同調(diào)度策略的完成時間降低了47.46%~79.24%，負載均衡調(diào)度策略的完成時間降低了25.48%~74.58%，數(shù)據(jù)局部性調(diào)度策略的完成時間最高降低了63.08%。存算協(xié)同調(diào)度策略可以通過合理的任務(wù)與數(shù)據(jù)調(diào)度，優(yōu)化多中心存儲與計算資源的利用，既避免了計算資源成為系統(tǒng)的瓶頸，又避免了大量數(shù)據(jù)的遷移開銷，使得任務(wù)完成時間最短。
03
存算協(xié)同調(diào)度系統(tǒng)在哪里成功應(yīng)用？
作者所在團隊存算協(xié)同調(diào)度系統(tǒng)已在5個國家級超級計算中心上成功部署，并通過開展分子對接應(yīng)用和跨域目標協(xié)同識別應(yīng)用，驗證了系統(tǒng)的有效性和高效性。分子對接應(yīng)用基于存算協(xié)同調(diào)度系統(tǒng)運行的效率達到了傳統(tǒng)運行模式的3.07倍，跨域目標協(xié)同識別應(yīng)用運行的效率達到了傳統(tǒng)運行模式的4.03倍。這表明存算協(xié)同調(diào)度系統(tǒng)可以統(tǒng)一管理廣域環(huán)境中的存算資源，將計算任務(wù)及數(shù)據(jù)進行合理的分配及存算協(xié)同調(diào)度，優(yōu)化廣域環(huán)境中的存算資源利用，支持大數(shù)據(jù)的存儲管理與高效分析處理。
