在當今的計算機圖形、視覺和自動化研究中，對環(huán)境的感知是至關重要的一環(huán)。相關的研究需要大量的數(shù)據(jù)資源支撐，比如深度圖、拍攝圖像和激光雷達數(shù)據(jù)等。然而目前絕大多數(shù)研究依然局限于2D/2.5D的圖形領域，要想構建和理解3D場景的話，仍需要3D數(shù)據(jù)的支持，比如點云圖和紋理多邊形模型等。
為此，深圳大學可視計算研究中心（VCC）推出了VirtualCity3D，一個大規(guī)模的城市場景數(shù)據(jù)集和仿真工具，來填補3D場景數(shù)據(jù)的空白。這一研究項目來自于深圳大學黃慧教授研究團隊。根據(jù)計算機科學排名CSRanking的統(tǒng)計，在計算機圖形一項上，深圳大學位列國內第二，黃慧教授也是其中發(fā)表SIGGRAPH論文數(shù)最多的一位。
包圍式攝影路徑/深圳大學VCC
去年該團隊就打造出了一種用消費級無人機進行3D全自動采集重建的系統(tǒng)，通過3D拍照，將3D城市模型的捕捉還原從厘米級突破至了毫米級。過去城市3D數(shù)據(jù)采集往往需要高成本的大型無人機設備，通過往復飛行來完成工作，而在這套新系統(tǒng)的幫助下，只需消費級無人機智能包圍式飛行就可以捕捉到毫米級的細節(jié)和精度。
而該團隊今年發(fā)布的VirtualCity3D則基于虛幻4引擎和AirSim建立了一個龐大的城市場景數(shù)據(jù)集，其中既有手工場景，也有現(xiàn)實重建場景。在專業(yè)建模師根據(jù)地區(qū)照片和衛(wèi)星地圖的手工構建和設計下，所有場景模型都具有緊湊的結構。黃慧教授團隊在該數(shù)據(jù)集中提供了紐約、芝加哥、舊金山、深圳、蘇州和上海六個城市小面積地區(qū)的CAD模型。除此之外，該數(shù)據(jù)集還有校園、住宅區(qū)和醫(yī)院等五種真實場景的重建模型。
無人機AirSim仿真/深圳大學VCC
雖然目前斯坦福大學、紐約大學等學府也紛紛推出了S3DIS、NYUv2等3D實例分割數(shù)據(jù)集，但這些數(shù)據(jù)基本都是室內數(shù)據(jù)，而且數(shù)據(jù)量不足以支撐構建3D城市模型用到的深度學習方法。而與ApolloCar3D、HoliCity等室外3D數(shù)據(jù)集相比，VirtualCity3D在CAD模型的細節(jié)程度和標注數(shù)據(jù)上也要勝過它們一籌。而且在AirSim的支持下，用戶可以用起來仿真汽車和無人機的工作運轉，測試它們在既定城市環(huán)境下是否可以順利完成自動化任務。
根據(jù)航拍圖片重建的深圳大學粵海校區(qū)場景/深圳大學VCC
借助多視角的立體視覺技術航拍圖，才得以重構出如此密集而細致的模型，它們也都運用了真實的材質和結構。在該團隊給出的數(shù)據(jù)中，也包括了構建這些模型用到的高分辨率（6000x4000）航拍圖和4K航拍視頻，這些數(shù)據(jù)用來訓練或測試SLAM、MVS或單視圖重建之類的算法。
小結
在未來自動駕駛和智慧城市的應用中，高精度三維地圖可以起到?jīng)Q定性的作用。目前高精度三維地圖依賴大型無人機的航拍和搭載激光雷達的路測測量，由于成本和政策原因，其繪制過程往往進展緩慢。而在全自動精準攝影和VirtualCity3D的支持下，不僅可以輕易完成繪制過程，還能在精密的地圖上完成仿真和測試。
智慧城市平臺則可以借助3D城市模型做到更好的三維可視化管理和規(guī)劃輔助，對于深圳這種發(fā)展速度迅猛的城市，這種輔助技術將進一步提高城市建設的科學性，減少不必要的基建開銷。
