Oculus Rift S在今年游戲開發(fā)者大會GDC上發(fā)布之后迎來了一些從業(yè)者的質(zhì)疑聲，因為他們希望看到的是備受期待的Rift 2，而不是一款Oculus Rift改進版。面對這種情況，Oculus在采訪回應中解釋說Oculus Rift 2太具顛覆性而不適合現(xiàn)在推出。

延伸閱讀：新Oculus Rift原型機可實現(xiàn)逼真面部表情捕捉

在這些采訪回應中，Oculus也透露說第二代VR頭顯應該具備全身動捕追蹤功能，言下之意Oculus Rift 2可能會具備這些功能。這顯然有點不可思議，因為當下的全身動捕追蹤技術非常笨重龐大，需要大量的外部設備，如慣性傳感器、馬克點標記等等。而且相對于一款消費者設備，當前市面上的動捕系統(tǒng)都是面向企業(yè)端，定價高達數(shù)萬數(shù)十萬。

1. Facebook無標記動捕

然而這種疑問都在今年的Facebook F8大會上被揮去，因為Facebook正式介紹了他們的解決方案，而這有望顛覆全身動捕市場。在Facebook F8大會的第二天主題演講中，Oculus公司的Research Supervisor Ronald Mallet登臺介紹了這一研究成果。

Ronald Mallet說：“我們的Codec Avatar技術在捕獲面部方面實現(xiàn)了突破性的逼真感，但真正的人類交流需要完整的身體語言。”

Ronald Mallet表示現(xiàn)有的動捕技術擴展至VR面臨多個挑戰(zhàn)，需要大量的硬件，大量的人工，大量的數(shù)據(jù)，以及大量的時間來打造一個虛擬化身，這導致動捕技術難以擴展并廣泛地用于VR，并且不能允許用戶定制自己的虛擬化身。

為了解決這個挑戰(zhàn)，所以Facebook開發(fā)了一種無標記的動捕技術，在有限的傳感器數(shù)量下，利用人工智能技術來復刻完整的身體運動。那他們又是怎么做到的呢？

2. 設計人體骨架模型

Ronald Mallet說：“你的大腦控制著肌肉，肌肉驅(qū)動著骨骼，骨骼反過來又驅(qū)動組織和皮膚以及表面的衣物，骨骼反過來又驅(qū)動組織和皮膚以及表面的衣物。所以為了用有限傳感器的數(shù)據(jù)來復刻所有這一切，并且渲染完整的3D虛擬化身，我們需要采用一個復刻人體解剖學的身體模型。這個模型需要完全自動地適配任何一個人，并且需要基于真實的人類行為。”

為了打造這個模型 他們首先研究了醫(yī)學刊物，并且利用了先進的醫(yī)學成像參考，然后再設計符合解剖結(jié)構(gòu)，并且有著合理接合和自由度的人體骨架。

Ronald Mallet說：“這個模型比傳統(tǒng)動畫制作中的模型要復雜得多，你可以想想要做到專注于你的微妙姿勢。你的肩胛骨是如何運動，你的臀關節(jié)又是如何運動，或者你的關節(jié)是如何伸展。接下來我們匹配這個骨架和用戶身體結(jié)構(gòu)，并且實時地將其制作成動畫，當用戶四周走動時模型能夠繼續(xù)適配用戶，并且忠實地復刻用戶的運動。”

3. 捕捉肌肉活動

但這并不夠，Oculus認為沒有肌肉表現(xiàn)可能會讓虛擬化身有點詭異，所以他們還復刻了肌肉活動的實時追蹤，并展示了對Oculus研究員Tony的一段演示視頻。

Oculus表示該演示只采用了 1 個傳感器進行捕捉

Ronald Mallet繼續(xù)解釋說：“令骨架表達出情感的是肌肉，肌肉運動對理解行為和意圖非常關鍵。所以這個片段是用于說明對Tony肌肉活動的實時追蹤。但要做到這一點，我們利用了他身體的慣性以及骨骼肌肉系統(tǒng)，來幫助我們預測和平滑化他的運動。要創(chuàng)建逼真的身體，建模肌肉收縮時出現(xiàn)的變形同樣重要。”

4. 捕捉服飾、毛發(fā)

不僅僅是對人體的骨架的全身追蹤，Oculus表示對人體身上的服飾、毛發(fā)的逼真還原同樣重要。

Ronald Mallet說：“我們采用了視覺觀察法來推斷身體幾何，并且重構(gòu)其形狀。然后我們應用了基于物理的模型來重構(gòu)實際的衣服變形，而且我們需要逼真地匹配人們的真實服飾。”

5. 未來挑戰(zhàn)

Ronald Mallet所展示的這一切都無需動捕套裝或標記，而且是實時進行的。只需有限的硬件進行捕捉，這是非常突破性的進步。但面對大眾消費市場，這個解決方案還存在延遲問題。

Ronald Mallet解釋說：“你可以想象，延遲是關鍵。在將其變成可行的產(chǎn)品之前，這是我們需要克服的一大挑戰(zhàn)。我們同時需要一種只利用現(xiàn)有傳感器，即可允許用戶輕松生成虛擬化身并實現(xiàn)動畫化的方法。”

延伸閱讀：Facebook F8大會主題演講完整視頻（含中英文字幕）

—

PS：有反饋標題用『2』有問題，我很高興收到這樣的反饋。但我可以解釋下，對于這個標題我是有顧慮的。首先『2』是有這種可能性，文章第二段已經(jīng)解釋了，其次我是希望用『2』來強烈提醒對后面VR發(fā)展形態(tài)有點點迷茫的頭顯、動捕等相關廠商，提供一個思考的方向。相信大家都希望行業(yè)能蓬勃競爭發(fā)展。等Oculus的這套技術完全推上市場后，我也不想看到相關廠商發(fā)現(xiàn)他們毫無反抗之力了。

原文鏈接：https://yivian.com/news/60740.html

來源：映維網(wǎng)