搜索引擎新技能，阿里新研究用2D圖片搜出3D模型

AI技術(shù)的研究正在從2D走向更高難度的3D。12月3日，記者獲悉，阿里技術(shù)團(tuán)隊(duì)研發(fā)了全新3D AI算法，可基于2D圖片精準(zhǔn)搜索出相應(yīng)的3D模型，準(zhǔn)確率大幅提升10%，可降低3D打印、VR看房、場(chǎng)景導(dǎo)購(gòu)等領(lǐng)域的門檻。該研究成果已被AI頂會(huì)NeurIPS 2020收錄。

盡管3D打印、VR等應(yīng)用場(chǎng)景逐漸成熟，但以3D搜索為代表的3D智能技術(shù)依舊處于早期研究階段。例如，受限于2D圖片顏色、紋理信息和3D模型形狀信息之間的差異，傳統(tǒng)AI方法模型匹配的準(zhǔn)確率較低。過(guò)去幾年，包括卡耐基梅隆大學(xué)、MIT、斯坦福大學(xué)等頂級(jí)機(jī)構(gòu)都紛紛投入該領(lǐng)域的研究。

（阿里3D AI算法可基于2D圖片，從海量數(shù)據(jù)集中精準(zhǔn)找到匹配的3D模型）

國(guó)際AI頂會(huì)NeurIPS 2020官方顯示，阿里技術(shù)團(tuán)隊(duì)率先提出了3D搜索的全新方法，即讓AI先學(xué)習(xí)大量復(fù)雜2D圖片樣本，從而弱化紋理等干擾信息，使AI網(wǎng)絡(luò)更聚焦于幾何細(xì)節(jié)的學(xué)習(xí)，從而讓AI更好地理解2D圖片及3D模型之間的差異。

實(shí)驗(yàn)結(jié)果顯示，訓(xùn)練完成后的算法模型能更高效地和3D模型數(shù)據(jù)集進(jìn)行匹配，在不同數(shù)據(jù)集上的準(zhǔn)確率提高約10%，例如用一張家具照片，可直接找到該家具的3D模型。

該論文作者、阿里淘系技術(shù)算法專家付歡表示，“3D搜索和3D重建、3D顯示都是3D領(lǐng)域基礎(chǔ)技術(shù), 未來(lái)，隨著算法和3D數(shù)據(jù)集的不斷強(qiáng)大，通過(guò)搜索引擎可以搜索出萬(wàn)物的3D模型。”

據(jù)悉，阿里技術(shù)團(tuán)隊(duì)在3D重建、3D搜索等技術(shù)領(lǐng)域已實(shí)現(xiàn)多項(xiàng)突破，相關(guān)技術(shù)已應(yīng)用在淘寶3D購(gòu)、躺平設(shè)計(jì)家等場(chǎng)景中。今年3月，阿里巴巴與多所國(guó)際知名學(xué)者合作開(kāi)源業(yè)界首個(gè)飽含紋理細(xì)節(jié)的大型3D家具數(shù)據(jù)集(3D-FUTURE)，吸引了斯坦福大學(xué)、加州大學(xué)伯克利分校、清華大學(xué)、香港中文大學(xué)等高校及蘋果、Facebook等企業(yè)進(jìn)行學(xué)術(shù)和應(yīng)用的前沿研究。

雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) 雷鋒網(wǎng)

雷鋒網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)。