Oculus Rift S在今年游戲開發(fā)者大會(huì)GDC上發(fā)布之后迎來了一些從業(yè)者的質(zhì)疑聲，因?yàn)樗麄兿Ｍ吹降氖莻涫芷诖腞ift 2，而不是一款Oculus Rift改進(jìn)版。面對(duì)這種情況，Oculus在采訪回應(yīng)中解釋說Oculus Rift 2太具顛覆性而不適合現(xiàn)在推出。

延伸閱讀：新Oculus Rift原型機(jī)可實(shí)現(xiàn)逼真面部表情捕捉

在這些采訪回應(yīng)中，Oculus也透露說第二代VR頭顯應(yīng)該具備全身動(dòng)捕追蹤功能，言下之意Oculus Rift 2可能會(huì)具備這些功能。這顯然有點(diǎn)不可思議，因?yàn)楫?dāng)下的全身動(dòng)捕追蹤技術(shù)非常笨重龐大，需要大量的外部設(shè)備，如慣性傳感器、馬克點(diǎn)標(biāo)記等等。而且相對(duì)于一款消費(fèi)者設(shè)備，當(dāng)前市面上的動(dòng)捕系統(tǒng)都是面向企業(yè)端，定價(jià)高達(dá)數(shù)萬數(shù)十萬。

1. Facebook無標(biāo)記動(dòng)捕

然而這種疑問都在今年的Facebook F8大會(huì)上被揮去，因?yàn)镕acebook正式介紹了他們的解決方案，而這有望顛覆全身動(dòng)捕市場(chǎng)。在Facebook F8大會(huì)的第二天主題演講中，Oculus公司的Research Supervisor Ronald Mallet登臺(tái)介紹了這一研究成果。

Ronald Mallet說：“我們的Codec Avatar技術(shù)在捕獲面部方面實(shí)現(xiàn)了突破性的逼真感，但真正的人類交流需要完整的身體語言。”

Ronald Mallet表示現(xiàn)有的動(dòng)捕技術(shù)擴(kuò)展至VR面臨多個(gè)挑戰(zhàn)，需要大量的硬件，大量的人工，大量的數(shù)據(jù)，以及大量的時(shí)間來打造一個(gè)虛擬化身，這導(dǎo)致動(dòng)捕技術(shù)難以擴(kuò)展并廣泛地用于VR，并且不能允許用戶定制自己的虛擬化身。

為了解決這個(gè)挑戰(zhàn)，所以Facebook開發(fā)了一種無標(biāo)記的動(dòng)捕技術(shù)，在有限的傳感器數(shù)量下，利用人工智能技術(shù)來復(fù)刻完整的身體運(yùn)動(dòng)。那他們又是怎么做到的呢？

2. 設(shè)計(jì)人體骨架模型

Ronald Mallet說：“你的大腦控制著肌肉，肌肉驅(qū)動(dòng)著骨骼，骨骼反過來又驅(qū)動(dòng)組織和皮膚以及表面的衣物，骨骼反過來又驅(qū)動(dòng)組織和皮膚以及表面的衣物。所以為了用有限傳感器的數(shù)據(jù)來復(fù)刻所有這一切，并且渲染完整的3D虛擬化身，我們需要采用一個(gè)復(fù)刻人體解剖學(xué)的身體模型。這個(gè)模型需要完全自動(dòng)地適配任何一個(gè)人，并且需要基于真實(shí)的人類行為。”

為了打造這個(gè)模型 他們首先研究了醫(yī)學(xué)刊物，并且利用了先進(jìn)的醫(yī)學(xué)成像參考，然后再設(shè)計(jì)符合解剖結(jié)構(gòu)，并且有著合理接合和自由度的人體骨架。

Ronald Mallet說：“這個(gè)模型比傳統(tǒng)動(dòng)畫制作中的模型要復(fù)雜得多，你可以想想要做到專注于你的微妙姿勢(shì)。你的肩胛骨是如何運(yùn)動(dòng)，你的臀關(guān)節(jié)又是如何運(yùn)動(dòng)，或者你的關(guān)節(jié)是如何伸展。接下來我們匹配這個(gè)骨架和用戶身體結(jié)構(gòu)，并且實(shí)時(shí)地將其制作成動(dòng)畫，當(dāng)用戶四周走動(dòng)時(shí)模型能夠繼續(xù)適配用戶，并且忠實(shí)地復(fù)刻用戶的運(yùn)動(dòng)。”

3. 捕捉肌肉活動(dòng)

但這并不夠，Oculus認(rèn)為沒有肌肉表現(xiàn)可能會(huì)讓虛擬化身有點(diǎn)詭異，所以他們還復(fù)刻了肌肉活動(dòng)的實(shí)時(shí)追蹤，并展示了對(duì)Oculus研究員Tony的一段演示視頻。

Oculus表示該演示只采用了 1 個(gè)傳感器進(jìn)行捕捉

Ronald Mallet繼續(xù)解釋說：“令骨架表達(dá)出情感的是肌肉，肌肉運(yùn)動(dòng)對(duì)理解行為和意圖非常關(guān)鍵。所以這個(gè)片段是用于說明對(duì)Tony肌肉活動(dòng)的實(shí)時(shí)追蹤。但要做到這一點(diǎn)，我們利用了他身體的慣性以及骨骼肌肉系統(tǒng)，來幫助我們預(yù)測(cè)和平滑化他的運(yùn)動(dòng)。要?jiǎng)?chuàng)建逼真的身體，建模肌肉收縮時(shí)出現(xiàn)的變形同樣重要。”

4. 捕捉服飾、毛發(fā)

不僅僅是對(duì)人體的骨架的全身追蹤，Oculus表示對(duì)人體身上的服飾、毛發(fā)的逼真還原同樣重要。

Ronald Mallet說：“我們采用了視覺觀察法來推斷身體幾何，并且重構(gòu)其形狀。然后我們應(yīng)用了基于物理的模型來重構(gòu)實(shí)際的衣服變形，而且我們需要逼真地匹配人們的真實(shí)服飾。”

5. 未來挑戰(zhàn)

Ronald Mallet所展示的這一切都無需動(dòng)捕套裝或標(biāo)記，而且是實(shí)時(shí)進(jìn)行的。只需有限的硬件進(jìn)行捕捉，這是非常突破性的進(jìn)步。但面對(duì)大眾消費(fèi)市場(chǎng)，這個(gè)解決方案還存在延遲問題。

Ronald Mallet解釋說：“你可以想象，延遲是關(guān)鍵。在將其變成可行的產(chǎn)品之前，這是我們需要克服的一大挑戰(zhàn)。我們同時(shí)需要一種只利用現(xiàn)有傳感器，即可允許用戶輕松生成虛擬化身并實(shí)現(xiàn)動(dòng)畫化的方法。”

延伸閱讀：Facebook F8大會(huì)主題演講完整視頻（含中英文字幕）

—

PS：有反饋標(biāo)題用『2』有問題，我很高興收到這樣的反饋。但我可以解釋下，對(duì)于這個(gè)標(biāo)題我是有顧慮的。首先『2』是有這種可能性，文章第二段已經(jīng)解釋了，其次我是希望用『2』來強(qiáng)烈提醒對(duì)后面VR發(fā)展形態(tài)有點(diǎn)點(diǎn)迷茫的頭顯、動(dòng)捕等相關(guān)廠商，提供一個(gè)思考的方向。相信大家都希望行業(yè)能蓬勃競(jìng)爭(zhēng)發(fā)展。等Oculus的這套技術(shù)完全推上市場(chǎng)后，我也不想看到相關(guān)廠商發(fā)現(xiàn)他們毫無反抗之力了。

原文鏈接：https://yivian.com/news/60740.html

來源：映維網(wǎng)