目前，出現(xiàn)在新一代智能手機(jī)上的3D傳感器，只是機(jī)器學(xué)習(xí)所引發(fā)的攝影技術(shù)浪潮的冰山一角，該類技術(shù)將不僅僅糾正智能手機(jī)照片的缺點(diǎn)，還將為攝影帶來一些令人驚嘆的新元素。
攝影在智能手機(jī)時代已經(jīng)發(fā)生了改變，不僅拍攝姿勢不同（比如自拍），手機(jī)攝像頭捕捉光線的整個過程也變得完全不一樣了。攝像頭不再只是一個透鏡和傳感器，它們還集成了一組算法，這些算法可以立即處理圖像，瞬間就能獲得桌面軟件耗費(fèi)數(shù)小時才能實(shí)現(xiàn)的照片效果，攝影已然成為計(jì)算領(lǐng)域的一門學(xué)問。
人工智能機(jī)器學(xué)習(xí)形式持續(xù)不斷的進(jìn)步將會帶來更多的功能，讓今天的智能手機(jī)照片變得過時。
外媒認(rèn)為，體現(xiàn)當(dāng)今手機(jī)的尖端攝影技術(shù)的最新例子包括：Alphabet子公司谷歌的Pixel 3智能手機(jī)照片，以及蘋果iPhone X的照片。在Pixel 3上，谷歌使用機(jī)器學(xué)習(xí)在低光照條件下捕捉更多的細(xì)節(jié)，使得夜景看起來像白天。這些根本不是自然界中曾經(jīng)存在過的鏡頭，它們完全是超分辨率的圖片。
從2017年推出iPhone X開始，蘋果公司添加了“bokeh”，巧妙地模糊了焦點(diǎn)之外的元素，這并不是像傳統(tǒng)攝影那樣通過鏡頭本身的某些方面來實(shí)現(xiàn)的，而是通過在捕捉到圖像后對像素進(jìn)行計(jì)算調(diào)整來實(shí)現(xiàn)的。
“移軸”相機(jī)
我們預(yù)測，2019年和2020年的突破性發(fā)展很有可能是通過操控圖像的視角來改善，希望這能糾正智能手機(jī)攝影中固有的失真問題，這些失真使得智能手機(jī)在數(shù)碼單反(DSLR)相機(jī)照片面前相形見絀。
卷積神經(jīng)網(wǎng)絡(luò)(CNN)試圖從一張圖片中重構(gòu)現(xiàn)實(shí)的過程
事實(shí)上，它們可以達(dá)到類似于“移軸”相機(jī)的效果。在移軸相機(jī)中，鏡頭所成的角度可彌補(bǔ)一個人站在相機(jī)前的角度，從而糾正由于個人與場景之間的角度造成的圖像失真。單反相機(jī)用戶可以在由不同的供應(yīng)商提供的各種可拆卸鏡頭中實(shí)現(xiàn)移軸功能。
一般的手機(jī)攝像頭都有一個非常小的透鏡鏡筒，因此它所捕捉到的一切東西都是扭曲的。在現(xiàn)實(shí)世界中，沒有什么形狀是恰到好處的。大多數(shù)人可能不會注意到，又或者可能不會在意，因?yàn)樗麄円呀?jīng)習(xí)慣了Instagram上的自拍。但如果能改善這些畸變就更好了。這一點(diǎn)能做到的話，那么它將會是來自谷歌、蘋果等公司的下一輪智能手機(jī)主推的一個賣點(diǎn)。
iPhone和其它品牌的手機(jī)將越來越多地搭載帶有3D傳感器的后置攝像頭。這些傳感器由Lumentum Holdings和其他的芯片供應(yīng)商等公司制造，通過發(fā)出光束并計(jì)算它們在物體反彈后如何返回手機(jī)，來測量手機(jī)周圍環(huán)境的深度。“飛行時間”等技術(shù)可以讓手機(jī)詳細(xì)測量周圍環(huán)境的三維結(jié)構(gòu)。
那些傳感器可以利用的是，近年來為了解二維圖像和現(xiàn)實(shí)世界之間的關(guān)系而進(jìn)行的大量統(tǒng)計(jì)工作。
谷歌Pixel 3智能手機(jī)上的“夜景”功能
人們做了大量的統(tǒng)計(jì)工作來實(shí)現(xiàn)移軸鏡頭那樣的物理特性，不管是有特殊攝像裝置的，還是沒有特殊攝像裝置的。例如，一項(xiàng)名為“隨機(jī)抽樣一致性”(RANSAC)的技術(shù)可以追溯到1981年，專門用于尋找三維世界中的地標(biāo)，這些地標(biāo)可以映射到二維圖像平面上的點(diǎn)，以便了解二維圖像與三維現(xiàn)實(shí)世界之間的關(guān)系。使用這種技術(shù)，可以更好地理解二維呈現(xiàn)是如何與現(xiàn)實(shí)世界相對應(yīng)的。
2015年，佛羅倫薩大學(xué)的一組研究人員在RANSAC技術(shù)的基礎(chǔ)上，通過對相機(jī)拍攝的照片進(jìn)行逆向推理，推導(dǎo)出了一種泛傾斜變焦相機(jī)的結(jié)構(gòu)，他們能夠通過軟件來分析相機(jī)位置的不同在多大程度上引發(fā)了失真，從而有效地將控制相機(jī)的執(zhí)行機(jī)構(gòu)調(diào)至最佳狀態(tài)，他們可以將這種技術(shù)用于視頻，而不僅僅是用于靜止的圖像。
2017年，德國埃爾蘭根-紐倫堡大學(xué)和伍茲霍爾海洋學(xué)研究所的研究人員展示了一個名為CameraTransform的Python庫，該庫可讓人們通過對拍攝的圖像進(jìn)行逆向計(jì)算，來估算物體在現(xiàn)實(shí)世界中的真實(shí)尺寸。
四角觀察：研究人員創(chuàng)建的一種神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器結(jié)合生成的對抗性網(wǎng)絡(luò)組成，被用于推斷圖片中被遮擋的物體
去年，德國慕尼黑工業(yè)大學(xué)和佳能公司的研究人員表示，只需拍一張圖片就可以推斷出被另一個物體遮擋的場景中有什么。這種技術(shù)被稱為“分層深度圖像”，可以通過從照片中移除一個物體來創(chuàng)建新的場景，呈現(xiàn)相機(jī)從未見過的背景，但這是通過圖像計(jì)算實(shí)現(xiàn)的。該方法使用了許多神經(jīng)網(wǎng)絡(luò)應(yīng)用中常見的編碼-解碼器方法來估計(jì)場景的深度，也使用了“生成對抗網(wǎng)絡(luò)”(GAN)來構(gòu)造場景中在拍攝照片時從未實(shí)際出現(xiàn)在視野里的部分。
所有的這些研究正在不斷涌現(xiàn)，并將在下一代配備3D傳感器的智能手機(jī)攝像頭上達(dá)到高潮，帶來一些不可思議的功能特性。這種研究應(yīng)該會帶來令人驚嘆的成果。至少，人們可以想象，用智能手機(jī)拍攝出的人像不再會出現(xiàn)怪異的面部扭曲。超分辨率的建筑圖片將有可能通過消除鏡頭上的所有扭曲而形成平行線。隨著手機(jī)變得能夠大量產(chǎn)生精確度和逼真度皆十分驚人的照片，智能手機(jī)行業(yè)將能夠在與單反相機(jī)的交鋒中取得又一場勝利。
但是，智能手機(jī)攝影的長期趨勢當(dāng)然是遠(yuǎn)離現(xiàn)實(shí)主義，而轉(zhuǎn)向取得更引人注目的效果。這在計(jì)算攝影誕生之前是無法想象的。因此，我們可能會看到3D傳感技術(shù)的應(yīng)用趨向于超現(xiàn)實(shí)主義。
舉例來說，移軸相機(jī)可以用來創(chuàng)造一些出奇漂亮的效果，比如縮小景深到一個極端的程度，這會使得風(fēng)景看起來就像玩具模型，但效果還是出奇的好，有些手機(jī)應(yīng)用程序也能做到類似的事情，但將3D傳感器與人工智能技術(shù)結(jié)合起來的效果，將遠(yuǎn)遠(yuǎn)超出那些應(yīng)用程序所能達(dá)到的效果，Photoshop中有實(shí)現(xiàn)移軸的技術(shù)，但是每次按下快門按鈕，相機(jī)都會產(chǎn)生同樣的效果，毫無疑問會讓人更加心滿意足。
光靠人工智能可行嗎？
未來，在推進(jìn)機(jī)器學(xué)習(xí)技術(shù)方面，會有另一個重要的階段。我們有可能會放棄使用3D傳感器，而僅僅使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來推斷物體在空間中的坐標(biāo)，這將節(jié)省在手機(jī)中安裝傳感器的費(fèi)用。
然而，就像微軟的研究人員和學(xué)術(shù)合作者在本周發(fā)表的一份報告中所討論的那樣，目前這種只使用軟件的方法收效甚微。他們寫道，只使用軟件的方法被稱為“絕對姿態(tài)回歸”(absolute pose regression)，在經(jīng)過訓(xùn)練后它并未能推而廣之，這意味著無論卷積神經(jīng)網(wǎng)絡(luò)掌握了什么技術(shù)，在用新圖像進(jìn)行測試時，它都無法準(zhǔn)確估量幾何圖形。
該報告的作者認(rèn)為，他們的研究是對純軟件方法的“一項(xiàng)重要的合理性檢查”。他們的結(jié)論是，“姿態(tài)回歸方法要變得切實(shí)可行，還長路漫漫。”
這項(xiàng)工作將如何完成呢？不僅僅依靠研究人員。它將需要許許多多的智能手機(jī)用戶的參與。有了帶有3D傳感器的新型手機(jī)，他們將能夠拍攝出令人印象深刻的3D感應(yīng)增強(qiáng)圖像。當(dāng)他們這樣做的時候，他們的設(shè)備，或者云，將會跟蹤現(xiàn)實(shí)世界的幾何結(jié)構(gòu)與二維圖像之間的關(guān)系。
換句話說，它將利用所有的這些活動來持續(xù)進(jìn)行學(xué)習(xí)，總有一天，只要有足夠的3D圖像，卷積神經(jīng)網(wǎng)絡(luò)或任何其它被使用的算法都能足夠聰明地觀察這個世界，即使沒有3D傳感器幫助提供深度感知能力，也能準(zhǔn)確地知道這個世界是什么樣的。
