在科學技術不斷發(fā)展的今天，人們通過對地觀測、地表傳感器網(wǎng)絡、遙感技術等手段，獲取了海量的地球科學數(shù)據(jù)集，這些數(shù)據(jù)統(tǒng)稱為地球大數(shù)據(jù)。
2015年，聯(lián)合國發(fā)布了可持續(xù)發(fā)展目標議程，以期面向2030年解決貧困、不平等和全球變化等的挑戰(zhàn)。這議程的眾多目標中，地球大數(shù)據(jù)至少可以為實現(xiàn)其中八個提供不同形式的支持，特別是純凈的水源、低廉的能源、可持續(xù)發(fā)展的城市、全球變化、水下生命、陸上生命、健康和平等發(fā)展目標。
2017年中科院成立了為期五年的“地球大數(shù)據(jù)科學工程”先導專項，其中大數(shù)據(jù)云服務平臺是“地球大數(shù)據(jù)科學工程”先導專項的重要建設任務之一，屬于綜合型基礎設施項目。
構建“大數(shù)據(jù)云服務平臺”的關鍵在于兩個層面，一是對中科院積累的海量基礎物理數(shù)據(jù)及其相互關系的建模，二是將對數(shù)據(jù)使用邏輯實現(xiàn)“服務化”，以支撐各單位實現(xiàn)數(shù)據(jù)共享和個性化應用孵化。
如何助力“地球大數(shù)據(jù)科學工程”構建包含資源、環(huán)境、生物、生態(tài)等多個領域的大數(shù)據(jù)云服務平臺，將海量“地球大數(shù)據(jù)”掌握在手中并實現(xiàn)云化？雙方通過“院企合作”的方式，將中科院的科研成果注入曙光Cloudview云計算操作系統(tǒng)產(chǎn)品中，實現(xiàn)科研成果的工程化。
依托專家力量，將其對海量數(shù)據(jù)的獨特使用邏輯框架化，并形成對底層資源支撐要求的量化，曙光以此作為輸入，在原有Cloudview云計算操作系統(tǒng)的基礎上，擴充資源調(diào)度功能并優(yōu)化，為地球大數(shù)據(jù)科學工程提供IaaS層資源支撐及資源管理與調(diào)度，通過靈活的調(diào)度、簡便的運維，讓“大”數(shù)據(jù)輕松一手掌握，推動并實現(xiàn)地球大數(shù)據(jù)技術創(chuàng)新、重大科學發(fā)現(xiàn)和一站式全方位宏觀決策支持。
系統(tǒng)總體架構圖
建設國際領先的大數(shù)據(jù)云服務平臺，需不斷提高對資源層高標準的使用要求，如彈性、高性能的計算資源、海量的數(shù)據(jù)存儲、高并發(fā)的數(shù)據(jù)訪問、簡便的集群運維管理等。針對“地球大數(shù)據(jù)科學工程”的大數(shù)據(jù)云系統(tǒng)建設所形成的曙光云計算Cloudview操作系統(tǒng)的優(yōu)勢主要體現(xiàn)為三個方面。
第一，體現(xiàn)在大規(guī)模彈性及異構計算，達到更高的計算能力。
基于數(shù)百臺計算節(jié)點的調(diào)度提供計算資源的彈性擴展，滿足大氣、海洋領域科學應用對計算資源不斷變化的需求，不會產(chǎn)生計算資源瓶頸，不同業(yè)務系統(tǒng)之間均衡使用，使資源得到充分、合理的使用。利用GPU透傳、PCI設備透傳能力，CPU獨占特性，為業(yè)務應用提供資源獨占能力，避免資源的爭搶、達到更高性能的計算能力，支撐基于Hadoop 大數(shù)據(jù)系統(tǒng)及Spark等流式數(shù)據(jù)處理，幫助用戶實現(xiàn)一鍵構建大數(shù)據(jù)處理環(huán)境功能。
第二，支持高并發(fā)海量存儲、提供更優(yōu)的數(shù)據(jù)治理能力。
中科曙光Cloudview 云計算操作系統(tǒng)提供海量的存儲管理，提供統(tǒng)一的存儲管理與調(diào)度?？赏瑫r對接幾十PB級文件存儲系統(tǒng)和對象存儲系統(tǒng)，“文件存儲系統(tǒng)”主要用于存儲來自全國不同科研組織提交的科研數(shù)據(jù)，提供數(shù)據(jù)遠程匯交的人機接口和功能，同時提供空間配額、訪問權限控制、數(shù)據(jù)隔離等功能。 “對象存儲系統(tǒng)”主要用于將匯交的、有價值的科研數(shù)據(jù)以對象格式存儲，便于后期的數(shù)據(jù)處理和發(fā)布共享。數(shù)據(jù)網(wǎng)絡采用10Gb/40Gb網(wǎng)絡，10Gb網(wǎng)絡用于虛擬機鏡像在鏡像存儲與計算資源池之間的傳輸， “數(shù)據(jù)內(nèi)網(wǎng)”采用40Gb高速網(wǎng)絡，用于科研數(shù)據(jù)在超級計算系統(tǒng)、大數(shù)據(jù)云系統(tǒng)、數(shù)據(jù)存儲系統(tǒng)之間的相互流轉。
第三，體現(xiàn)在簡單的運維，實現(xiàn)自動化交付。
整個系統(tǒng)的易用性，體現(xiàn)在上層應用的使用時候的便利性，專家建議對各使用單位的系統(tǒng)使用習慣做認真分類，并提出“強資源編排”的應用模塊化構建理念。曙光Cloudview 云計算操作系統(tǒng)提供資源編排服務，可以實現(xiàn)從基礎架構到應用的端到端的自動化交付工作。資源編排服務采用完全圖形化 UI 操作，用戶可以通過簡單的圖表拖拽進行可視化編排。資源編排實現(xiàn)了資源及其拓撲關系的自動執(zhí)行，不僅獨立資源可按配置實現(xiàn)自動化部署，各資源間的拓撲關系也將自動執(zhí)行，幫助運維管理人員省去大量機械重復的手動配置操作。
通過與客戶緊密合作，中科曙光Cloudview 云計算操作系統(tǒng)為 “地球大數(shù)據(jù)科學工程”提供了高可靠、高性能、高彈性、易運維的IaaS平臺，切實提高了客戶在基礎架構和應用程序構建效率，為系統(tǒng)正常運行及業(yè)務創(chuàng)新保駕護航。讓海量復雜的地球大數(shù)據(jù)，輕松靈活地掌握在手中。
