邊緣云計(jì)算丨AR邊緣云技術(shù),無處不在

聚焦5G時(shí)代
聚焦5G時(shí)代
增強(qiáng)現(xiàn)實(shí)(AR)技術(shù),融合了視覺感知為主的空間語義感知和以混合內(nèi)容渲染為主的可視化內(nèi)容生成技術(shù),并通過新興近眼顯示為核心的可穿戴設(shè)備系統(tǒng)工程推動(dòng)人和物理世界的自然交互,實(shí)現(xiàn)了“所見即所知”以及拋棄鍵盤、鼠標(biāo)和顯示器的信息傳遞高速公路。

企業(yè)紛紛發(fā)布了令人眩目的新技術(shù)并拓展其基于云的服務(wù)模式,如結(jié)合AR技術(shù)的3D高精度地圖服務(wù)——Cybervers和基于視覺定位系統(tǒng)Live View的Maps AR導(dǎo)航功能。

5G時(shí)代的到來和商用化部署的加速,加速了數(shù)字信息流轉(zhuǎn)以及物聯(lián)規(guī)模的發(fā)展,并以更加安全和靈活的方式保護(hù)了數(shù)字資產(chǎn)和隱私信息,為物理和數(shù)字世界的融合與啟動(dòng)以視覺自然交互為基礎(chǔ)的人物交互機(jī)制(HTI:Human Things Interaction)開辟了高速公路。

AR云的定義和重要作用

增強(qiáng)現(xiàn)實(shí)(AR)技術(shù),融合了視覺感知為主的空間語義感知和以混合內(nèi)容渲染為主的可視化內(nèi)容生成技術(shù),并通過新興近眼顯示為核心的可穿戴設(shè)備系統(tǒng)工程推動(dòng)人和物理世界的自然交互,實(shí)現(xiàn)了“所見即所知”以及拋棄鍵盤、鼠標(biāo)和顯示器的信息傳遞高速公路。

作為一種革命性人機(jī)交互方式(HTI)的撬動(dòng)支點(diǎn),AR集合了大量現(xiàn)代技術(shù)進(jìn)步和成果,包括以機(jī)器視覺和SLAM為核心的人工智能技術(shù),以及以云部署和大數(shù)據(jù)融合為基礎(chǔ)的信息后臺(tái)技術(shù),和以光波導(dǎo)為當(dāng)前主要應(yīng)用模式的近眼顯示技術(shù),同時(shí)最近大量商業(yè)化部署的5G技術(shù)也成為其連接技術(shù)的主要支柱。結(jié)合AR這個(gè)系統(tǒng)技術(shù)集合,行業(yè)的數(shù)字知識(shí)資產(chǎn)的融合和基于視覺觸發(fā)的高速信息交互,為智能制造、數(shù)字孿生以及新興的智慧城市服務(wù)提供了更加廣闊的想象空間。

QQ截圖20210630142014.png

現(xiàn)階段,在智能制造趨勢(shì)下工業(yè)企業(yè)紛紛開始了探索新型信息化提升的路徑,以實(shí)現(xiàn)增效降本,增強(qiáng)企業(yè)競爭力的目的。其中工業(yè)制造過程也是一個(gè)應(yīng)用場景復(fù)雜,且垂立領(lǐng)域特點(diǎn)顯著的實(shí)施場景。

QQ截圖20210630142014.png

首先:制造場景存在

1.生產(chǎn)場景環(huán)境復(fù)雜,如有大量移動(dòng)的設(shè)備、人員和車輛;

2.設(shè)備多樣,無論是外形、內(nèi)部專業(yè)結(jié)構(gòu)、或電氣和電路連接拓?fù)洌?/p>

3.設(shè)備運(yùn)行環(huán)境差異大,可能存在高溫、高危、高電磁的運(yùn)行工況;

4.涉及的協(xié)作工段和流程多,對(duì)于精細(xì)化和柔性管理的要求高。

其次:作為制造環(huán)節(jié)中最重要的因素--人

無論從需要掌握的專業(yè)技能還是需要關(guān)注的綜合領(lǐng)域信息都呈現(xiàn)出愈來愈快速發(fā)展的趨勢(shì),同時(shí)高速運(yùn)行的制造過程也要求生產(chǎn)人員更加專注的關(guān)注快速變化生產(chǎn)和實(shí)施過程。

在繼互聯(lián)網(wǎng)技術(shù)賦能的數(shù)字化信息制造過程演進(jìn)后,核心要素人和設(shè)施設(shè)備的“人”和“物”的交互(革命性人機(jī)交互方式(HTI))和信息流加速就成為對(duì)智能制造向下一步生產(chǎn)力提升演進(jìn)的重要途徑。

當(dāng)前利用AR技術(shù)與一體機(jī)設(shè)備這種可遠(yuǎn)程、實(shí)時(shí)性、主動(dòng)式、多視角融合、多場景交互、解放雙手的信息呈現(xiàn)形式,輔助產(chǎn)業(yè)工人的生產(chǎn)工作和培訓(xùn),把互聯(lián)網(wǎng)和信息技術(shù)延伸到一線員工的工作當(dāng)中已被很多工業(yè)巨頭積極實(shí)踐,如通用和GE等,取得了大幅提升工作人員信息獲取與轉(zhuǎn)化率從而提高勞動(dòng)效率的積極結(jié)果,即實(shí)現(xiàn)了——“增效降本,增強(qiáng)企業(yè)競爭力”。

QQ截圖20210630142014.png

目前,比較完整的AR云輔助智能制造系統(tǒng)如圖1-3所示,包含了利用AR增強(qiáng)現(xiàn)實(shí)技術(shù)、AI人工智能技術(shù)、IOT物聯(lián)網(wǎng)、云計(jì)算、5G通訊技術(shù)以及5G+MEC邊緣云技術(shù)的融合,以云AR智能終端系統(tǒng)作為連接現(xiàn)場作業(yè)人員、設(shè)備、運(yùn)維中心和非現(xiàn)場人員的智能化工具,實(shí)現(xiàn)跨地域數(shù)據(jù)資源共享和生產(chǎn)過程監(jiān)督管控以及非現(xiàn)場專家的遠(yuǎn)程指導(dǎo)。

在以上場景中,輔助AR設(shè)施需要最大程度具備靈活性和輕便性,以便生產(chǎn)現(xiàn)場的工作高效開展。云AR智能運(yùn)維中心部署在云端,提供AR應(yīng)用服務(wù)和交互以及數(shù)據(jù)知識(shí)庫沉淀與智能化分析服務(wù),通過在邊緣云計(jì)算中心執(zhí)行AI/AR算法引擎,提供算法模型的微服務(wù)管理、在線部署服務(wù)、模型運(yùn)行監(jiān)控和資源調(diào)度管理,從而提高生產(chǎn)效率,實(shí)現(xiàn)業(yè)務(wù)閉環(huán)。

AR云的核心功能框架

云AR智能終端系統(tǒng)作為連接現(xiàn)場作業(yè)人員與設(shè)備以及運(yùn)維中心和非現(xiàn)場人員的智能化工具,是人物交互方式(HTI)和信息流加速的核心路徑。同時(shí)它要求最大程度具備靈活性和輕便性,并具備足夠的續(xù)航時(shí)間。這就為整個(gè)AR云構(gòu)架提出了一個(gè)核心演進(jìn)的方向,如圖1-4所示。

QQ截圖20210630142014.png

其中,在5G通訊等核心技術(shù)的發(fā)展支撐下,AR智能終端由應(yīng)用內(nèi)容存儲(chǔ)、感知、數(shù)字化內(nèi)容渲染、用戶交互和顯示綜合能力本地化部署,逐漸向僅包含顯示和用戶交互的輕量化能力部署轉(zhuǎn)化,以云服務(wù)模式強(qiáng)化信息流融合和加速,以及深化數(shù)據(jù)服務(wù)的層次,同時(shí)提升靈活性和輕便性。

同時(shí),在環(huán)境復(fù)雜、設(shè)備多樣的場景下,前端完成視頻內(nèi)容內(nèi)關(guān)注設(shè)備對(duì)象的空間識(shí)別以及場景識(shí)別以構(gòu)建人物交互(HTI)通道,需要非常復(fù)雜的機(jī)器視覺算法的支撐,有效的利用云端算力也方便了人物交互的廣泛利用和應(yīng)用場景的多樣性。

QQ截圖20210630142014.png

AR及其云服務(wù)應(yīng)用領(lǐng)域廣闊,在其推廣和普及的過程中用戶體驗(yàn)關(guān)注點(diǎn)成為推動(dòng)產(chǎn)業(yè)進(jìn)步和技術(shù)變革的核心動(dòng)力和指標(biāo)。參照PTC的調(diào)研報(bào)告《State of Industrial Innovation》(工業(yè)創(chuàng)新發(fā)展?fàn)顩r)系列報(bào)告68%的工業(yè)企業(yè)正在加速增強(qiáng)現(xiàn)實(shí)的采用,同時(shí)結(jié)合GSMA相關(guān)工業(yè)場景的調(diào)研報(bào)告,如圖1-5所示,影響客戶的項(xiàng)目部署和規(guī)模推廣的核心問題主要源自三個(gè)領(lǐng)域:

1.識(shí)別和跟蹤定位(三維注冊(cè))這一核心環(huán)節(jié)和技術(shù)基礎(chǔ)的整體體驗(yàn);

2.人機(jī)交互的部件組成和整體,如交互器件AR顯示終端的體驗(yàn)感受和整體交互方案體驗(yàn)感受;

3.和使用及投資成本相關(guān)的主要問題,如終端成本。

云端分析功能和數(shù)字信息融合功能的邊緣化部署,成為提高領(lǐng)域的重要手段,同時(shí)視頻內(nèi)容關(guān)注設(shè)備對(duì)象的空間識(shí)別以及場景識(shí)別的適用范圍的擴(kuò)展(即AR技術(shù)本身的提升)為平攤設(shè)備的使用成本和提升收益,以及提升識(shí)別和跟蹤定位的體驗(yàn)就顯得異常重要。而腦機(jī)接口的引入,為加速語義信息流轉(zhuǎn)和更自然的人機(jī)交互提供了想象空間。

AR技術(shù)核心技術(shù)框架

作為人物交互(HTI)通道的核心技術(shù)體系,AR其實(shí)就是需要解決識(shí)別并跟蹤定位需要交互和已經(jīng)關(guān)注的現(xiàn)實(shí)場景目標(biāo),并根據(jù)手勢(shì)或語音等交互方式完成意圖的傳遞,以最終實(shí)現(xiàn)結(jié)合現(xiàn)實(shí)場景目標(biāo)信息疊加的顯示。

隨著應(yīng)用場景的進(jìn)一步拓展,以及應(yīng)用場合的不斷豐富,包括多人的長效體驗(yàn),AR的核心技術(shù)體系,特別是考慮到云端處理,也逐漸豐滿和清晰。在垂直應(yīng)用領(lǐng)域可以清晰可見的AR核心技術(shù)體系包括:

三維語義注冊(cè):對(duì)現(xiàn)實(shí)場景的語義和空間理解和重構(gòu);

三維融合生成:完成結(jié)合現(xiàn)實(shí)場景的數(shù)字信息生成和疊加;

人機(jī)實(shí)時(shí)交互技術(shù):用戶可與真實(shí)世界甚至虛擬物體進(jìn)行實(shí)時(shí)的自然交互。

QQ截圖20210630142014.png

三維語義注冊(cè)

三維語義注冊(cè):對(duì)現(xiàn)實(shí)場景的語義和間理解和重構(gòu)。包含了對(duì)于實(shí)景的三維結(jié)構(gòu)恢復(fù)和重建,以及虛擬環(huán)境的實(shí)時(shí)三維注冊(cè)技術(shù)兩個(gè)部分。

一、其中三維結(jié)構(gòu)的恢復(fù)和重建常常用來建立實(shí)景與觀察者視野(相機(jī))的坐標(biāo)轉(zhuǎn)換關(guān)系,為虛擬物體與現(xiàn)實(shí)空間的三維注冊(cè)奠定基礎(chǔ)。其包含了多視圖幾何原理的遵循,以及圖像的特征點(diǎn)的提取和匹配、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、三維幾何重建、表面紋理重建等核心技術(shù)。近年日益普及的深度傳感器對(duì)于高效和準(zhǔn)確的完成三維重建存在積極作用,但傳感器本身精度的差異化,以及當(dāng)前技術(shù)所能達(dá)到的精度范圍,還需要探索有效方法以實(shí)現(xiàn)最終場景精確的稠密重建。

二、其中虛擬環(huán)境的三維注冊(cè)技術(shù)常常用來實(shí)現(xiàn)讓虛實(shí)環(huán)境共享同一空間坐標(biāo)系,以實(shí)現(xiàn)將虛擬景物嵌入其中的目的。其包含了同時(shí)定位與地圖構(gòu)建(SLAM),平面標(biāo)志物的檢測(cè)和識(shí)別與跟蹤,以及三維實(shí)物的檢測(cè)、識(shí)別與跟蹤等核心技術(shù)。目前三維實(shí)物的跟蹤已逐步進(jìn)入實(shí)用化的階段,但在工業(yè)界的大規(guī)模應(yīng)用尚有距離。

QQ截圖20210630142014.png

三維融合生成

三維融合生成:結(jié)合現(xiàn)實(shí)場景的數(shù)字信息生成和疊。包含了虛擬物體的繪制、現(xiàn)實(shí)環(huán)境的光照估計(jì)、虛實(shí)視覺融合和信息與現(xiàn)實(shí)環(huán)境的融合顯示技術(shù);同時(shí)空間增強(qiáng)實(shí)現(xiàn)技術(shù)也與其密切相關(guān)。

其中空間增強(qiáng)實(shí)現(xiàn)技術(shù)涉及空間增強(qiáng)實(shí)現(xiàn)的具體方式,包含光學(xué)穿透方式、以及光場方式和多投影呈現(xiàn)方式,同時(shí)也包括投影畫面的幾何校正和顏色校正技術(shù)等核心技術(shù)。

隨著AR服務(wù)從功能傾向逐步向體驗(yàn)傾向的轉(zhuǎn)移,三維融合生成的技術(shù)重要性就顯得愈加重要,通過準(zhǔn)確實(shí)現(xiàn)融合光源和周圍環(huán)境的虛擬數(shù)字化對(duì)象的形狀、位姿、材質(zhì)和紋理,真實(shí)感將躍然眼前。

QQ截圖20210630142014.png

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論