谷歌利用眾包照片為AR/VR提供地標3D建模

來源：映維網? 作者? 黃顏

一直以來，將現實地點轉換為3D模型對人類藝術家而言都是巨大的挑戰，尤其是需要實現照片級真實感的時候。

但谷歌研究人員已經構思出一種替代方案，其可以同時地自動化3D建模過程并改進結果，利用一個包含眾包地點照片的神經網絡來令人信服地在3D中復刻相關地標和照明。

名為神經輻射場（Nergular Radiance Fields，NeRF）的技術可通過確定光線的終止位置而從2D圖像中提取3D深度數據，然后就能夠創建看似合理的地標3D紋理模型。

谷歌的NeRF-in-Wild（NeRF-W）系統則更進一步。首先，它使用“in-the-wild photo collections”作為輸入，從而擴展計算機從多個角度查看地標的能力。接下來，系統評估圖像以尋找結構，分離出攝影圖形和環境變化，如圖像曝光、場景照明、后處理和天氣條件，以及鏡頭到鏡頭的對象差異。然后，它將重新創建場景，將靜態元素（結構幾何和紋理）與提供體三維輻射的瞬態元素混合。

因此，可以從多個角度流暢地查看NeRF-W的3D地標模型，而且看起來不會抖動或出現偽影。同時，照明系統使用檢測到的變化來為場景照明和陰影提供輻射指導。

另外，NeRF-W可以將圖像到圖像對象的差異視為一個不確定域，然后消除或弱化差異。標準的NeRF系統則允許差異顯示為云狀遮擋偽影，因為它在圖像攝取過程中不會將它們與結構分離。

谷歌在視頻中對比了標準NeRF與NeRF-W的結果。我們可以看到，這個全新的神經系統能夠令人信服地在3D中再現地標，而虛擬現實和增強現實設備的用戶可以體驗到復雜的建筑，包括時間和天氣變化。實際上，這是2019年公布的方案“Neural Rerendering in the Wild”的優化，現在的系統已經可以更好地將三維結構與光照分離開來，并且當在從不同角度查看時，畫面會顯地更加流暢。

相關論文 ：NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

當然，谷歌不是唯一一家研究將照片用作3D建模輸入的公司。例如，英特爾的研究人員正在使用多張照片和一個遞歸編解碼器網絡來插值未捕捉到的角度，從而生成現實世界地點的合成版本。盡管英特爾的系統在像素級清晰度和時間平滑度方面似乎優于包括標準NeRF在內的眾多替代產品，但它似乎沒有提供NeRF-W的可變照明功能，同時沒有注重使用隨機來源的照片來重現真實世界的位置。

原文鏈接：https://yivian.com/news/77005.html