根據(jù)對象的二維圖像創(chuàng)建三維表示是一項困難的任務(wù)。例如,創(chuàng)建三維表示需要根據(jù)二維圖像所描繪的二維特征來推斷三維特征。 然而, 一般難以確定兩個圖像是否從不同視角描繪了對象的相同特征。
有的解決方案利用極線將2D圖像中的點(diǎn)相關(guān)聯(lián)。一個圖像中的特征點(diǎn)可用于將一條極線投影到另一個圖像上。另一圖像中與極線相交的特征點(diǎn)可以與用于投影線的特征點(diǎn)相關(guān)聯(lián)。但對于復(fù)雜場景或涉及多個對象的場景中,極線可能無法有效識別相關(guān)特征。
所以,微軟認(rèn)為基于極線的方法存在提升空間。日前,美國專利商標(biāo)局公布公布了一份名為“3d Skeletonization Using Truncated Epipolar Lines(利用截平極線的3D骨架化)”的專利。
這份發(fā)明文件主要描述了利用從不同視點(diǎn)捕獲的目標(biāo)對象二維圖像來生成三維骨架的技術(shù)。微軟指出:“可以從不同的攝像頭角度捕獲對象的圖像。可以在捕獲的圖像中識別對象的特征關(guān)鍵點(diǎn)。”
相關(guān)專利:Microsoft Patent | 3d Skeletonization Using Truncated Epipolar Lines
微軟進(jìn)一步解釋說,可以接收和分析從不同視點(diǎn)描繪目標(biāo)對象的圖像,從而檢測目標(biāo)對象的可識別特征。然后,可以利用截平的極線來關(guān)聯(lián)各個圖像中的關(guān)鍵點(diǎn)。
對于一些傳統(tǒng)的系統(tǒng),在涉及多個對象的場景中,給定的極線可以與圖像中的多個關(guān)鍵點(diǎn)相交。如果僅使用極線,難以確定多個相交關(guān)鍵點(diǎn)中的哪一個應(yīng)與用于生成極線的關(guān)鍵點(diǎn)相關(guān)聯(lián)。
所以,微軟提出利用截平的極線來關(guān)聯(lián)關(guān)鍵點(diǎn)。這家科技巨頭表示,截平的極線可以將用于交叉關(guān)鍵點(diǎn)檢查的圖像區(qū)域限制為更可能包含目標(biāo)對象特征,同時不包含場景中其他對象的區(qū)域,從而有利于關(guān)聯(lián)所涉及的關(guān)鍵點(diǎn)。
具體來說,關(guān)鍵點(diǎn)的深度信息可用于截平利用關(guān)鍵點(diǎn)創(chuàng)建的極線。相關(guān)特征關(guān)鍵點(diǎn)可用于為對象的相關(guān)特征創(chuàng)建三維特征坐標(biāo)??梢允褂萌S特征坐標(biāo)生成三維骨架。可以將一個或多個三維模型映射到三維骨架并進(jìn)行渲染。渲染的一個或多個三維模型可以顯示在一個或多個顯示設(shè)備上。
專利文件繼續(xù)寫道,所述的一個或多個三維模型可以“輸出到全息顯示設(shè)備或其他類型的顯示設(shè)備。例如,渲染器可以生成左圖像和右圖像,并在虛擬現(xiàn)實或增強(qiáng)現(xiàn)實頭顯中顯示目標(biāo)對象的3D表示。”另外,可用作輸出設(shè)備的全息顯示設(shè)備示例包括“HoloLens”和“HTC Vive”。
名為“3d Skeletonization Using Truncated Epipolar Lines(利用截平極線的3D骨架化)”的專利最初于2017年11月提交,并在日前由美國專利商標(biāo)局正式公布。需要注意的是,目前尚不確定微軟是否會或?qū)⒂诤螘r商業(yè)化具體的發(fā)明技術(shù)。
原文鏈接:https://yivian.com/news/61228.html
來源:映維網(wǎng)