地質(zhì)大數(shù)據(jù)可視化在地質(zhì)科學研究過程中必不可少,且是地質(zhì)成果表達最理想方式,更有利于成果宣傳和推廣應用!地質(zhì)大數(shù)據(jù)可視化類型多,從應用角度可分為:表達三維可視化、分析三維可視化、過程三維可視化、設計三維可視化和決策三維可視化5類。地質(zhì)大數(shù)據(jù)可視化關鍵技術有:地質(zhì)體三維可視化動態(tài)精細建模技術、基于CUDA+GPU集群的地質(zhì)體屬性場數(shù)據(jù)并行可視化技術;針對地質(zhì)大數(shù)據(jù)的可視化分析技術;基于地質(zhì)大數(shù)據(jù)的虛擬現(xiàn)實和增強現(xiàn)實技術等。本文對這些關鍵技術的現(xiàn)狀、技術路線以及實現(xiàn)效果進行了論述和展示。關鍵詞:地質(zhì)大數(shù)據(jù);可視化;CUDA;GPU;地質(zhì)體建模;虛擬現(xiàn)實;增強現(xiàn)實。
0引言
地球科學是數(shù)據(jù)密集型科學,地質(zhì)科學是地球科學的一個重要分支。與地質(zhì)科學相關的數(shù)據(jù)包括:基礎地質(zhì)、礦產(chǎn)地質(zhì)、水文地質(zhì)、工程地質(zhì)、環(huán)境地質(zhì)、災害地質(zhì)數(shù)據(jù)等。這些多源異構(gòu)的數(shù)據(jù)主要通過地質(zhì)測量、物探、化探、遙感、鉆探以及分析測試等手段獲取。同時,地質(zhì)數(shù)據(jù)具有科學大數(shù)據(jù)的顯著屬性。地質(zhì)數(shù)據(jù)描述的對象,均具有典型時空大數(shù)據(jù)的特征以及復雜的層次結(jié)構(gòu)關系。地質(zhì)數(shù)據(jù)本身也具有靜態(tài)和動態(tài)、間歇性集中積累和連續(xù)性分散積累等特點。為了直觀地觀察、理解、組織和應用這些地質(zhì)時空大數(shù)據(jù),在實現(xiàn)地質(zhì)時空大數(shù)據(jù)表達、存儲管理與索引調(diào)度之后,需要對其進行可視化轉(zhuǎn)換和表達,在此基礎上實現(xiàn)地質(zhì)大數(shù)據(jù)各種應用場景開發(fā),比如基于大數(shù)據(jù)的城市地質(zhì)環(huán)境智能監(jiān)管舊、基于無模型的大數(shù)據(jù)挖掘發(fā)現(xiàn)礦床等。最近幾年,國外一些學者對地質(zhì)大數(shù)據(jù)中部分內(nèi)容的可視化方法及技術進行了研究。2018年Wang等歸基于地質(zhì)本體完成從地質(zhì)大數(shù)據(jù)中提取北美區(qū)域地質(zhì)年代和生物信息,并實現(xiàn)信息集成與可視化。2015年Carl等從三維可視化的角度研究了體繪制和大數(shù)據(jù)對實現(xiàn)地質(zhì)解釋的優(yōu)勢。2016年Mueller等聞利用開源平臺Cesium實現(xiàn)基于云平臺的全球地球物理和其他一些地質(zhì)大數(shù)據(jù)3DWeb交互可視化系統(tǒng)。2018年Gazcon等設計并開發(fā)了一個基于ARGeo框架的野外增強現(xiàn)實系統(tǒng),以補充野外人員對周圍環(huán)境的感知。這些研究工作都涉及到地質(zhì)大數(shù)據(jù)可視化的一些內(nèi)容,但沒有全面分析和歸納地質(zhì)大數(shù)據(jù)可視化的層次以及所涉及到的關鍵技術。大數(shù)據(jù)可視化技術發(fā)展趨勢體現(xiàn)在大數(shù)據(jù)4V特點(體量大而完整、類型多且關聯(lián)、聚集快卻雜亂、價值大但稀疏)的方向上,每個方向上都有與之對應可視化方法研究。但地質(zhì)大數(shù)據(jù)可視化技術難點更體現(xiàn)在面對“參數(shù)信息不完全、結(jié)構(gòu)信息不完全、關系信息不完全和演化信息不完全”等難題的挑戰(zhàn),地質(zhì)大數(shù)據(jù)可視化技術發(fā)展趨勢將是高維度、高計算復雜性和高不確定性的可視化和計算。
1地質(zhì)大數(shù)據(jù)可視化的研究內(nèi)容
地質(zhì)大數(shù)據(jù)中包含很多對地質(zhì)現(xiàn)象和地質(zhì)過程的定性理解、定量估算和關系描述,這些數(shù)據(jù)大部分是一種半結(jié)構(gòu)化或不良結(jié)構(gòu)化甚至非結(jié)構(gòu)化的數(shù)據(jù),通過數(shù)據(jù)可視化可以描述、表達和理解各種半結(jié)構(gòu)化甚至非結(jié)構(gòu)化數(shù)據(jù)的關系和內(nèi)涵。地質(zhì)科學比地理科學更加強調(diào)實現(xiàn)真三維可視化,即實現(xiàn)基于體元的地質(zhì)體空間形態(tài)結(jié)構(gòu)和內(nèi)部屬性成分的一體化表達。地質(zhì)時空大數(shù)據(jù)的可視化,可以和“玻璃地球”建設思路結(jié)合起來。“玻璃地球”的關鍵技術,是地質(zhì)體屬性和地質(zhì)體結(jié)構(gòu)的三維動態(tài)可視化建模。從應用角度出發(fā),可以將地質(zhì)時空數(shù)據(jù)可視化分為表達三維可視化、分析三維可視化、過程三維可視化、設計三維可視化和決策三維可視化5類(圖1)。“玻璃地球”是地質(zhì)大數(shù)據(jù)的載體,完成5類可視化后進一步支持后續(xù)大數(shù)據(jù)挖掘以及智慧地礦。
圖1地質(zhì)大數(shù)據(jù)可視化的研究內(nèi)容分類
目前,上述各種面向?qū)ο?、面向過程、具有空間認知能力的可視化技術,已成為地質(zhì)大數(shù)據(jù)領域研究的熱點。這其中涉及到幾個方面的關鍵技術:①地質(zhì)體三維可視化動態(tài)精細建模技術;②具有海量空間數(shù)據(jù)的地質(zhì)體模型與所嵌入屬性數(shù)據(jù)的并行可視化技術;③在三維建模和各種可視化方法的基礎上,進行進一步的可視化分析技術;④實現(xiàn)沉浸在地質(zhì)大數(shù)據(jù)環(huán)境中的虛擬現(xiàn)實和增強現(xiàn)實技術。
2地質(zhì)大數(shù)據(jù)可視化關鍵技術
2.1地質(zhì)體三維可視化動態(tài)精細建模技術
在完成地質(zhì)時空大數(shù)據(jù)的高效管理、調(diào)度之后,首當其沖就是完成地質(zhì)體三維模型及屬性模型的建模。自20世紀70年代以來,國內(nèi)外專家學者在三維地質(zhì)建模領域開展了大量研究工作。全息、精細、多尺度三維地質(zhì)模型的動態(tài)建立是地質(zhì)大數(shù)據(jù)時空透視的基礎。所謂全息是指模型要能表達地質(zhì)體內(nèi)部的構(gòu)造(兼顧大的斷層和微裂縫)、地層、沉積相(要精確到亞相甚至是微相)、各類屬性信息的體元表達(孔隙度、含水率、應力、土壤成分等屬性)。所謂動態(tài)建模是指模型要能滿足局部動態(tài)更新的需求,隨著地礦勘查的數(shù)據(jù)增加,要能方便自動匹配和快速地更新多種三維地質(zhì)模型(區(qū)域地質(zhì)、礦集區(qū)、礦山、礦床、礦體等三維模型)。這里涉及2個關鍵問題,一個是全息、精細、多尺度模型的智能建模;另一個是已建模型局部動態(tài)快速更新。(1)地質(zhì)知識與拓撲推理深度融合的三維地質(zhì)體智能建模為了實現(xiàn)全息、精細、多尺度智能建模,需要采用基于知識驅(qū)動與拓撲推理相結(jié)合的三維并行建模方法,其技術路線如圖2所示。之所以如此,是因為現(xiàn)有三維地質(zhì)建模方法過度依賴幾何定量數(shù)據(jù),難以深度融合地質(zhì)知識,未能有效地解決大范圍、大規(guī)模復雜地質(zhì)結(jié)構(gòu)模型的快速構(gòu)建,及其與構(gòu)造、地層、沉積地質(zhì)知識和屬性內(nèi)容的精細表達之間的矛盾問題。要解決這些問題,還需要在研究面向各種地質(zhì)環(huán)境時空透視三維地質(zhì)模型的高效屬性-空間一體化三維、全息、并行、動態(tài)、精細建模方法的同時,通過對研究區(qū)域開展地質(zhì)結(jié)構(gòu)和構(gòu)造分析,并查明研究區(qū)內(nèi)同一地質(zhì)時代的地層、巖性及巖相的空間分布狀況,形成正確而完整的地質(zhì)認識,并匯總專家知識、國家與行業(yè)標準等,在語義分析、編碼與分類表達的基礎上,構(gòu)建專家知識庫。然后,根據(jù)實際對象的特點和需要分別采用層面或體元模型,開展地質(zhì)體屬性-空間一體化的三維、全息、并行、動態(tài)、精細建模。
圖2基于知識驅(qū)動與拓撲推理相結(jié)合的三
層面模型并行構(gòu)建:結(jié)合地質(zhì)知識和拓撲推理進行層面空間插值劃分與相關數(shù)據(jù)范圍確定,按各層面插值計算劃分并行分配數(shù)據(jù)和插值計算任務給各CPU,由各個CPU并行完成各層面的拓撲推理與多條件約束空間插值計算,然后傳回給主CPU,由主CPU完成合并層面模型,構(gòu)建地層格架面模型和巖相(巖性或沉積相)面模型。體元模型并行構(gòu)建:體元模型組織基于八叉樹結(jié)構(gòu),將層控面模型轉(zhuǎn)化為多尺度體元模型,并利用MPI技術將計算任務分配給多個計算節(jié)點執(zhí)行,實現(xiàn)多尺度體元模型的并行化構(gòu)建計算。采取“先剖分后合并”的思想,即先采用并行掃描剖分算法進行3個方向上的體元剖分,再根據(jù)體元映射準則將所有體元單元映射到八叉樹結(jié)構(gòu)中的相應位置,并根據(jù)體元合并準則“由下而上”遞歸合并所有子節(jié)點直至根節(jié)點,最終形成八叉樹結(jié)構(gòu)的多尺度體元模型,并完成體元并行構(gòu)建計算。最后通過多點地質(zhì)統(tǒng)計學隨機模擬完成屬性建模,將模擬結(jié)果映射到體元模型網(wǎng)格,完成全息、精細地質(zhì)體模型的構(gòu)建(圖3)。
圖3全息、精細、多尺度三維地質(zhì)體建模
(2)三維地質(zhì)模型的局部動態(tài)重構(gòu)方法
三維地質(zhì)模型總是隨著勘探階段遞進和地質(zhì)數(shù)據(jù)的積累而不斷更新。由于大規(guī)模三維地質(zhì)模型的整體更新和重構(gòu),需要花費巨大的工作量和代價,亟待研究局部更新或局部重構(gòu)的方法原理和技術。一個可行的辦法是根據(jù)不同的建模方法對復雜三維空間對象的表達和更新效率差異,采用基于混合體元模型——IHG-TIN(不規(guī)則六面體網(wǎng)格與三角網(wǎng)),進行屬性—空間一體化的三維地質(zhì)體復合建模,然后采用改進的Octree樹和BSP樹進行更新區(qū)域求解,實現(xiàn)局部多尺度耦合與替換的快速動態(tài)更新。其技術路線如圖4所示。
圖4三維地質(zhì)體模型局部動態(tài)更新
首先,通過知識推理建模、自動建模和不規(guī)則六面體體元剖分和地質(zhì)體屬性結(jié)合建模,完成地質(zhì)體整體范圍內(nèi)IHG-TIN混合體元模型的構(gòu)建。若局部有新的鉆孔或其他勘探數(shù)據(jù)需要更新地質(zhì)體模型時,只需按上述步驟構(gòu)建局部同尺度的IHG-TIN模型,利用新的體元局部替換原模型相同位置的體元塊,再重新從體元模型中提取新的地層面模型和構(gòu)造面模型,完成層面模型的拓撲和地質(zhì)屬性的更新,從而實現(xiàn)快速局部動態(tài)更新。本方法不同于從面模型到體模型的常規(guī)地質(zhì)體更新方法,而是反過來,在體元模型融合后再提取更新面模型,充分發(fā)揮IHG-TIN模型的優(yōu)勢,克服從面到體的更新方法中新面模型的拓撲關系和屬性更新困難,避免面模型和體模型的推倒重建,提高建模效率和精度。利用后期勘探數(shù)據(jù)(鉆孔、地質(zhì)剖面)與前期三維地質(zhì)體屬性-空間一體化模型實現(xiàn)模型的動態(tài)重構(gòu)之后,將確保三維地質(zhì)體模型仍具有空間拓撲一致性、復雜地質(zhì)對象實體連續(xù)性、三維模型空間完整性,為后續(xù)的各類分析、評價、決策提供模型和數(shù)據(jù)支撐。
2.2基于CUDA+GPU集群的地質(zhì)體屬性場數(shù)據(jù)并行可視化技術
需要進行可視化的地質(zhì)大數(shù)據(jù)除了包含大規(guī)模的地質(zhì)體結(jié)構(gòu)幾何模型,還包含海量的屬性數(shù)據(jù)場,有標量場、矢量場,還有張量場等。在國內(nèi)外的可視化領域研究中,針對多種屬性數(shù)據(jù)場耦合可視化的研究迄今仍不多見。Yuan等在描述強化體繪制效果的同時,介紹了體數(shù)據(jù)與半透明幾何面的融合繪制方法;華崗采用不透明體與不透明幾何的傳統(tǒng)融合繪制方式,在地震體數(shù)據(jù)可視化中完成了地震體數(shù)據(jù)和層位網(wǎng)格數(shù)據(jù)的融合繪制。針對多變量數(shù)據(jù)基于顏色層次混合可能造成結(jié)果混淆問題,丁冶宇提出一種基于多類藍噪聲采樣的多變量體可視化方法,可使最終繪制圖像的每個像素只對應一個變量的渲染結(jié)果,避免了多種變量在同一像素空間的混合干擾。近些年,針對較大規(guī)模數(shù)據(jù)并行可視化的研究也在國內(nèi)相繼出現(xiàn)??酌髅骰贕PU機群開展了并行體繪制算法研究,他們使用16個結(jié)點上的GPU硬件,可以處理美國數(shù)字化圖像庫的VisibleHuman數(shù)據(jù)集,針對30億網(wǎng)格單元數(shù)量的并行體繪制速度達到2秒/幀,總數(shù)據(jù)量達3.15GB。湖南大學研制的GPU硬件加速體繪制算法,可以處理8億網(wǎng)格規(guī)模的三維地震數(shù)據(jù),單時刻數(shù)據(jù)量為13GB。針對大規(guī)模數(shù)據(jù)場的優(yōu)化繪制研究方面,江鵬、國棟等研究了基于VQ、變換編碼等快速解壓縮的體繪制算法。冀俊峰等、羅月童等研究了多分辨率加速體繪制。蔡勛等、王篆等、殷萍采用out-of-core技術加速等值面繪制。并行可視化一般涉及5個過程:數(shù)據(jù)剖分、數(shù)據(jù)分配、繪制、圖像合成和顯示。其中,數(shù)據(jù)場的區(qū)域分解結(jié)果直接決定了并行可視化數(shù)據(jù)剖分及數(shù)據(jù)分配方式。雖然可視化可以針對原有數(shù)值模擬數(shù)據(jù)集進行預處理重新剖分,但是針對大規(guī)模的地質(zhì)過程數(shù)值模擬數(shù)據(jù)集,可以配合地質(zhì)大數(shù)據(jù)索引機制來分配。在使用GPU實現(xiàn)通用并行計算時,其計算模式存在一些限制。首先,GPU設計的初衷是為了加速應用程序中的圖形渲染,因而開發(fā)者需要通過圖形處理API,如OpenGL、DirectX等來操作GPU,并且需要設法將通用計算問題轉(zhuǎn)變?yōu)閳D形問題。其次,與CPU相比較,GPU更注重數(shù)據(jù)級并行計算,也就是在不同的數(shù)據(jù)上并行執(zhí)行相同的計算,但對并行計算中的互斥、同步、原子操作等方面缺乏支持,因而限制了GPU在通用并行計算中的應用范圍。CUDA架構(gòu)解決了上述問題。它為GPU計算設計了一種全新的結(jié)構(gòu),減輕了GPU計算模型中的限制。以CUDA-C為例,作為對標準C的一種簡單擴展,易于學習和使用,且不需要開發(fā)人員具備計算機圖形學知識。CUDA-C編程允許程序執(zhí)行在異構(gòu)系統(tǒng)上,異步地操作CPU和GPU,有各自的存儲空間,并由PCI-Express總線分開。一個基于CUDA+GPU集群的地質(zhì)體屬性場數(shù)據(jù)并行可視化技術系統(tǒng),包含主機與設備兩部分。主機是在CPU上串行執(zhí)行的部分,設備是在GPU上并行執(zhí)行的部分,設備代碼又稱為核函數(shù)。根據(jù)地質(zhì)體大數(shù)據(jù)特點和計算量和大數(shù)據(jù)索引,對可視化計算任務進行劃分,分別交給設備和主機處理。設備上實現(xiàn)索引分塊后的地質(zhì)體數(shù)據(jù)場的渲染繪制,主機上采用并行圖像合成算法對渲染圖像進行合成,輸出結(jié)果。
2.3地質(zhì)大數(shù)據(jù)的可視化分析技術
地學三維可視化分析,是指在地質(zhì)大數(shù)據(jù)存儲、索引和調(diào)度以及三維建模和各種可視化技術的基礎上,對已建立的三維地質(zhì)模型和屬性數(shù)據(jù)場進行的各種決策分析,并且在三維環(huán)境里實現(xiàn)分析過程和分析結(jié)果的可視化。地質(zhì)體三維可視化決策分析功能,包括常規(guī)空間分析(空間量算分析、空間插值擬合、空間幾何關系分析、統(tǒng)計分析、地形分析、智能計算分析等)和地質(zhì)空間分析(地質(zhì)統(tǒng)計分析、矢量剪切分析、成礦特征提取分析、地質(zhì)構(gòu)造分析、應力應變分析、地質(zhì)過程模擬仿真等)(圖5)。目前,亟待進一步開展以下幾個方面的研究:針對地質(zhì)時空大數(shù)據(jù)的維度、結(jié)構(gòu)、呈現(xiàn)等特征,需要研究這些分析方法在時間、空間等維度的擴展;需要研究大數(shù)據(jù)環(huán)境下時空分析算法的并行化和外存化;同時設計開發(fā)地質(zhì)時空分析組件(包括常規(guī)空間分析和地質(zhì)空間分析的系列時空分析組件),為大數(shù)據(jù)環(huán)境下地質(zhì)時空數(shù)據(jù)的同化融合、數(shù)據(jù)挖掘與玻璃國土、礦產(chǎn)預測評價等綜合應用系統(tǒng)提供底層算法與組件支持,提供高可用性的分析工具(圖6)。
圖5地質(zhì)分析工具
圖6地質(zhì)大數(shù)據(jù)的可視化分析技術
2.4地質(zhì)大數(shù)據(jù)虛擬現(xiàn)實和增強現(xiàn)實技術
在傳統(tǒng)三維地質(zhì)建模的基礎上,引入虛擬現(xiàn)實(virtualreality)技術和增強現(xiàn)實(augmentedreality)技術,可利用更多的交互手段提高地質(zhì)數(shù)據(jù)的表達能力,使用戶更自然地沉浸在數(shù)據(jù)環(huán)境中,可以從不同的角度查看數(shù)據(jù),便于從數(shù)據(jù)中發(fā)現(xiàn)新的內(nèi)容和信息。其中,VR提供了動態(tài)處理數(shù)據(jù)的能力,使數(shù)據(jù)更容易理解和操縱,甚而使用戶在其中得到一種沉浸式交互的觸覺體驗。該項技術已經(jīng)在地學領域得到了有效的應用,如交互式地形可視化技術在2010年海地地震中的應用,通過實際場景的虛擬研究和大規(guī)模地形數(shù)據(jù)集的實時交互分析,實現(xiàn)快速應急響應和科學決策。2018年郭艷軍等通過典型的沉浸式VR系統(tǒng)實現(xiàn)多尺度地質(zhì)數(shù)據(jù)3D沉浸式可視化。目前,可基于Unity3D虛擬現(xiàn)實開發(fā)引擎構(gòu)建地質(zhì)大數(shù)據(jù)VR或AR可視化系統(tǒng),實現(xiàn)實時獲取數(shù)據(jù)內(nèi)容、自由搭建3D虛擬場景、集成3D沉浸式顯示系統(tǒng)和光學追蹤交互系統(tǒng),實時與虛擬場景互動操作,并能支持各種平臺的發(fā)布,包括Windows.Mac、Wii、iPhone、WebGL(需要HTML5)、Win-dowsphone8和Android平臺?;赨nity3D的手機端地質(zhì)體VR可視化系統(tǒng)實現(xiàn)流程如下(圖7)。通過專業(yè)三維地質(zhì)建模軟件(比如QuantyView)完成三維地質(zhì)體模型的創(chuàng)建,將三維地質(zhì)體模型導入到Unity3D中,再通過Unity3D實現(xiàn)基于安卓操作系統(tǒng)或蘋果操作系統(tǒng)的手機端的發(fā)布,可以開發(fā)出基于手機端的VR可視化展示系統(tǒng)(圖8)。
圖7VR系統(tǒng)實現(xiàn)流程圖
圖8基于手機的地質(zhì)體模型VR可視化
還可以將Unity3D與增強現(xiàn)實插件Vuforia結(jié)合,開發(fā)基于真實視頻或真實圖像場景的AR增強現(xiàn)實系統(tǒng),比如野外地質(zhì)調(diào)查增強現(xiàn)實系統(tǒng)等。增強現(xiàn)實插件Vuforia的圖像識別功能允許應用程序基于野外真實視頻或圖像去查找設備本地和云端的數(shù)據(jù)庫,用手機將野外地質(zhì)調(diào)查與網(wǎng)絡數(shù)據(jù)庫連接,快速豐富野外地質(zhì)調(diào)查內(nèi)容的信息。
3結(jié)語
完成地質(zhì)科學大數(shù)據(jù)的存儲、索引、管理、調(diào)度之后,就需對其進行各種可視化表達、可視化分析。地質(zhì)時空大數(shù)據(jù)可視化從應用角度可分為表達三維可視化、分析三維可視化、過程三維可視化、設計三維可視化和決策三維可視化5類。筆者從地質(zhì)時空大數(shù)據(jù)可視化涉及到的幾方面關鍵技術進行了深入探討,包括:①地質(zhì)體三維可視化動態(tài)精細建模技術;②基于CUDA+GPU集群的地質(zhì)體屬性場數(shù)據(jù)并行可視化技術;③針對地質(zhì)大數(shù)據(jù)的可視化分析技術;④基于地質(zhì)大數(shù)據(jù)的虛擬現(xiàn)實和增強現(xiàn)實技術(包括PC版、移動版VR和AR系統(tǒng))等。