殺雞焉用牛刀?3D手勢識別不是VR交互的唯一選擇專欄
自人類發(fā)明了工具以來,與工具之間就需要通過一種方式建立起聯(lián)系,用手握住工具的把手就是聯(lián)系的一種。進(jìn)入電子科技時代,交互的重要性愈加凸顯,就好像遙控器之于空調(diào)、鍵盤鼠標(biāo)之于電腦、游戲手柄之于電視游戲等等,缺少了一個簡單有效的交互,工具對于人類也就失去了意義。
隨著虛擬現(xiàn)實的崛起,如何尋找到合適的交互技術(shù)也成為了從業(yè)者們研究的重中之重。
一、我們?yōu)槭裁葱枰獮?a href="http://m.youqingtian.cn/vr/" target="_blank">VR需要找一個新的交互形式?
與其他科技產(chǎn)品不同,VR體驗強(qiáng)調(diào)的是沉浸感,而沉浸感的來源又是與外界的隔絕而造就的,尤其是視覺和聽覺的隔絕,使得大腦被欺騙,產(chǎn)生脫離于現(xiàn)實世界的虛擬沉浸感。這就產(chǎn)生了新的問題:看不見自己的身體,尤其是人類交互感知最重要的手和運動最重要的腳,無法與虛擬環(huán)境產(chǎn)生交互,在虛擬的世界里變成了一個看客。
在虛擬現(xiàn)實興起之初,用戶在新鮮感爆棚的情況下,追求的重點在VR是否能夠營造出沉浸感十足的情境,對于交互的需求相對并沒有那么強(qiáng)烈。人類的主觀能動性作祟,于是希望去操縱、控制虛擬世界,以尋找到更多的存在感。隨著行業(yè)的不斷發(fā)展,VR對于用戶新鮮感的下降,用戶開始將尋找虛擬世界存在感的需求放在了首位,開始追求更深層次的沉浸,希望與虛擬現(xiàn)實世界產(chǎn)生互動。
非常不湊巧的是,大廠優(yōu)先追求的是輸出設(shè)備的高技術(shù)含量,在頭顯這一塊投入的技術(shù)與精力更多。在交互這一塊的研發(fā)相對滯后,就導(dǎo)致了交互手段缺失情況的出現(xiàn),比如Oculus Rift只能選擇XBox手柄湊數(shù)。
通過傳統(tǒng)電子設(shè)備的交互方式,比如手柄一類的產(chǎn)品,暫時解決交互了的問題,卻又使得用戶從虛擬世界中被帶出,沉浸感大打折扣。舉個例子,成熟度相對較高的三星Gear VR頭顯在視覺方面的體驗不錯,但操控方式是配置于頭顯右側(cè)的觸摸板,這意味著用戶需要時刻舉起右手來操作,這無形中就破壞了沉浸感受。
在二維屏幕交互中,幾乎所有控制命令都可以抽象為按鍵動作。但在虛擬現(xiàn)實中,用戶希望自然交互,也就是人類在現(xiàn)實世界里怎么跟外界交互,在虛擬世界里我們也希望按照同樣的方式交互,沉浸感更高,效率高,學(xué)習(xí)成本低。
于是,尋找一種全新的、合適的虛擬現(xiàn)實交互形式就成為了一件非常有必要的事情。
二、為什么手部動作識別在已知的交互形式中最受歡迎?
到目前為止,VR領(lǐng)域目前還沒有一個成熟的具有普適性的操控交互手段。小編大概列舉了目前業(yè)界理論上比較主張的幾種交互形式:用“眼球追蹤”實現(xiàn)交互、用“動作捕捉”實現(xiàn)交互、用“肌電模擬”實現(xiàn)交互、用“觸覺反饋”實現(xiàn)交互、用“語音”實現(xiàn)交互、用“手勢跟蹤”實現(xiàn)交互、用“傳感器”實現(xiàn)交互等等。
這些交互形式到目前為止,雖然各自有各自的優(yōu)點,但也都存在一定的缺陷。比如眼球追蹤,盡管眾多公司都在研究眼球追蹤技術(shù),但幾乎沒有一家的解決方案令人滿意,都無法提供精準(zhǔn)和實時的反饋?;蛉鐒幼鞑蹲?,市面上的動作捕捉設(shè)備只會在特定超重度的場景中使用,而且需要用戶花費比較長的時間穿戴和校準(zhǔn)才能夠使用,而且這種方式的一大痛點是沒有反饋,用戶很難感覺到自己的操作是有效的。
又如觸覺反饋,它無法適應(yīng)更加廣泛的應(yīng)用場景,雖然目前三大VR頭顯廠商Oculus、索尼、HTC Vive都不約而同的采用了虛擬現(xiàn)實手柄作為標(biāo)準(zhǔn)的交互模式,但這只是針對一些高度特化的游戲類應(yīng)用或輕度的消費應(yīng)用,不過是商家退而求其次的一種妥協(xié)策略,因為VR頭顯的早期消費者基本是游戲玩家。再比如語音交互,首先機(jī)器對于人類語言的理解就是一大問題,簡單的語音還好,復(fù)雜的就不行了,而理解之后機(jī)器對指令能否準(zhǔn)確執(zhí)行又是一大問題。
對于人類來說,最自然最有效的的交互方式有兩個當(dāng)屬動作莫屬了,因為即便語言不通,你仍然可以通過動作的比劃與他人進(jìn)行溝通。放在VR里面來說,肢體和手勢動作可以用于大部分交互場景,尤其是輕度交互的固定場景還是對于重度交互的移動場景,手勢的優(yōu)勢都非常突出。
于是,手部動作識別在已知的交互形式中成為最受歡迎形式。
三、手部動作識別是不是只有3D手勢識別嗎?
說起手部動作識別,大家耳熟能詳?shù)膽?yīng)該就是Leap Motion這家公司了。但實際上,手部動作識別的解決方案并不是只有Leap Motion一家公司有,技術(shù)原理上也并不是只有這一個方向。只不過因為Oculus的對Leap Motion的大力支持,伴隨著Oculus Rift的高曝光率,使得Leap Motion的3D手勢識別被公眾所熟知。
3D手勢識別并不是VR交互領(lǐng)域手部動作識別方案的唯一,其實可以分為二維手型識別、二維手勢識別、三維手勢識別三種。
二維手型識別
二維手型識別,也可稱為靜態(tài)二維手勢識別,識別的是手勢中最簡單的一類。這種技術(shù)在獲取二維信息輸入之后,可以識別幾個靜態(tài)的手勢,比如握拳或者五指張開。其代表公司是一年前被Google收購的Flutter。在使用了他家的軟件之后,用戶可以用幾個手型來控制播放器。
“靜態(tài)”是這種二維手勢識別技術(shù)的重要特征,這種技術(shù)只能識別手勢的“狀態(tài)”,而不能感知手勢的“持續(xù)變化”。舉個例子來說,如果將這種技術(shù)用在猜拳上的話,它可以識別出石頭、剪刀和布的手勢狀態(tài)。但是對除此之外的手勢,它就一無所知了。所以這種技術(shù)說到底是一種模式匹配技術(shù),通過計算機(jī)視覺算法分析圖像,和預(yù)設(shè)的圖像模式進(jìn)行比對,從而理解這種手勢的含義。
這種技術(shù)的不足之處顯而易見:只可以識別預(yù)設(shè)好的狀態(tài),拓展性差,控制感很弱,用戶只能實現(xiàn)最基礎(chǔ)的人機(jī)交互功能。
二維手勢識別
二維手勢識別,比起二維手型識別來說稍難一些,但仍然基本不含深度信息,停留在二維的層面上。這種技術(shù)不僅可以識別手型,還可以識別一些簡單的二維手勢動作,比如對著攝像頭揮揮手。其代表公司是來自以色列的PointGrab,EyeSight和ExtremeReality。
二維手勢識別擁有了動態(tài)的特征,可以追蹤手勢的運動,進(jìn)而識別將手勢和手部運動結(jié)合在一起的復(fù)雜動作。這樣一來,我們就把手勢識別的范圍真正拓展到二維平面了。我們不僅可以通過手勢來控制計算機(jī)播放/暫停,我們還可以實現(xiàn)前進(jìn)/后退/向上翻頁/向下滾動這些需求二維坐標(biāo)變更信息的復(fù)雜操作了。
這種技術(shù)雖然在硬件要求上和二維手型識別并無區(qū)別,但是得益于更加先進(jìn)的計算機(jī)視覺算法,可以獲得更加豐富的人機(jī)交互內(nèi)容。在使用體驗上也提高了一個檔次,從純粹的狀態(tài)控制,變成了比較豐富的平面控制。
三維手勢識別
三維手勢識別需要的輸入是包含有深度的信息,可以識別各種手型、手勢和動作。相比于前兩種二維手勢識別技術(shù),三維手勢識別不能再只使用單個普通攝像頭,因為單個普通攝像頭無法提供深度信息。要得到深度信息需要特別的硬件,目前世界上主要有3種硬件實現(xiàn)方式,加上新的先進(jìn)的計算機(jī)視覺軟件算法就可以實現(xiàn)三維手勢識別了。
1. 結(jié)構(gòu)光(Structure Light)
結(jié)構(gòu)光的代表應(yīng)用產(chǎn)品就是PrimeSense的Kinect一代了。
這種技術(shù)的基本原理是,加載一個激光投射器,在激光投射器外面放一個刻有特定圖樣的光柵,激光通過光柵進(jìn)行投射成像時會發(fā)生折射,從而使得激光最終在物體表面上的落點產(chǎn)生位移。
當(dāng)物體距離激光投射器比較近的時候,折射而產(chǎn)生的位移就較小;當(dāng)物體距離較遠(yuǎn)時,折射而產(chǎn)生的位移也就會相應(yīng)的變大。這時使用一個攝像頭來檢測采集投射到物體表面上的圖樣,通過圖樣的位移變化,就能用算法計算出物體的位置和深度信息,進(jìn)而復(fù)原整個三維空間。
以Kinect一代的結(jié)構(gòu)光技術(shù)來說,因為依賴于激光折射后產(chǎn)生的落點位移,所以在太近的距離上,折射導(dǎo)致的位移尚不明顯,使用該技術(shù)就不能太精確的計算出深度信息,所以1米到4米是其最佳應(yīng)用范圍。
2. 光飛時間(Time of Flight)
光飛時間是SoftKinetic公司所采用的技術(shù),該公司為Intel提供帶手勢識別功能的三維攝像頭。同時,這一硬件技術(shù)也是微軟新一代Kinect所使用的。
這種技術(shù)的基本原理是加載一個發(fā)光元件,發(fā)光元件發(fā)出的光子在碰到物體表面后會反射回來。使用一個特別的CMOS傳感器來捕捉這些由發(fā)光元件發(fā)出、又從物體表面反射回來的光子,就能得到光子的飛行時間。根據(jù)光子飛行時間進(jìn)而可以推算出光子飛行的距離,也就得到了物體的深度信息。就計算上而言,光飛時間是三維手勢識別中最簡單的,不需要任何計算機(jī)視覺方面的計算。
3. 多角成像(Multi-camera)
多角成像這一技術(shù)的代表產(chǎn)品是Leap Motion公司的同名產(chǎn)品和Usens公司的Fingo。
這種技術(shù)的基本原理是使用兩個或者兩個以上的攝像頭同時攝取圖像,就好像是人類用雙眼、昆蟲用多目復(fù)眼來觀察世界,通過比對這些不同攝像頭在同一時刻獲得的圖像的差別,使用算法來計算深度信息,從而多角三維成像。
在這里我們以兩個攝像頭成像來簡單解釋一下:
<center>

雙攝像頭測距是根據(jù)幾何原理來計算深度信息的。使用兩臺攝像機(jī)對當(dāng)前環(huán)境進(jìn)行拍攝,得到兩幅針對同一環(huán)境的不同視角照片,實際上就是模擬了人眼工作的原理。因為兩臺攝像機(jī)的各項參數(shù)以及它們之間相對位置的關(guān)系是已知的,只要找出相同物體(楓葉)在不同畫面中的位置,我們就能通過算法計算出這個物體(楓葉)距離攝像頭的深度了。
多角成像是三維手勢識別技術(shù)中硬件要求最低,但同時是最難實現(xiàn)的。多角成像不需要任何額外的特殊設(shè)備,完全依賴于計算機(jī)視覺算法來匹配兩張圖片里的相同目標(biāo)。相比于結(jié)構(gòu)光或者光飛時間這兩種技術(shù)成本高、功耗大的缺點,多角成像能提供“價廉物美”的三維手勢識別效果。
四、殺雞不用牛刀,VR中的交互到底應(yīng)該如何抉擇?
輕度交互
移動端VR設(shè)備一般無法運行重度體驗的VR內(nèi)容,對于交互的需求基本保留在輕量級別。3D的手勢識別用在輕度VR交互上實際有點殺雞用牛刀的感覺,絕大部分人日常接觸最多的就是2D觸摸屏,而大部分UI也是2D設(shè)計,3D手勢識別加入的深度信息對于大部分人來說太超前,而且大部分人臂展不超過1米,深度信息在這里沒法體現(xiàn)出相對2D平面的不同。
所以,一個普通單攝像頭通過邊緣識別的簡單手勢交互系統(tǒng)能滿足目前大部分VR場景的交互需求,降低手勢交互的門檻,從而快速普及手勢交互概念,如果還能夠配合語音交互功能,就能快速滿足短期內(nèi)VR應(yīng)用的交互需求。
重度交互
PC端VR設(shè)備,成本高技術(shù)含量高,能夠運行重度體驗的VR內(nèi)容,因而對于交互的需求也是重量級別。3D的手勢識別用在重度VR交互上才是真正的好鋼用到了刀刃上,能夠滿足用戶的重度交互需求,還能夠提供較好的反饋和沉浸感。用戶置身的三維場景中,要跟三維場景里面的物品進(jìn)行交互,沒有深度信息是不可能做到的。
現(xiàn)在Oculus和HTC Vive其實都采用的是手柄的解決方案,但是3D的手勢交互其實是一種更自然、更舒服的方式。對于復(fù)雜的3D場景,3D的手勢交互是不可缺少的,而且更加真實和沉浸式的3D場景體驗,才是VR內(nèi)容的未來。而在重度VR體驗內(nèi)容中,空間的深度信息更為復(fù)雜,應(yīng)用場景的變化也更加多樣化,只有3D的手勢識別能夠較好的滿足精度、延遲和沉浸的要求。
至于未來如何發(fā)展,歷史總是由人民書寫的,消費者的選擇才是技術(shù)方向的選擇。
1.砍柴網(wǎng)遵循行業(yè)規(guī)范,任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源;2.砍柴網(wǎng)的原創(chuàng)文章,請轉(zhuǎn)載時務(wù)必注明文章作者和"來源:砍柴網(wǎng)",不尊重原創(chuàng)的行為砍柴網(wǎng)或?qū)⒆肪控?zé)任;3.作者投稿可能會經(jīng)砍柴網(wǎng)編輯修改或補(bǔ)充。

- 在線電影票考驗IP駕馭能力,玻璃花瓶是打不了勝仗的
- 某職業(yè)學(xué)院開辦電競專業(yè),電競行業(yè)究竟靠譜嗎?
- 王興:互聯(lián)網(wǎng)+是中國互聯(lián)網(wǎng)企業(yè)全球化的最好機(jī)會
- 直播+公益:會是扭轉(zhuǎn)直播行業(yè)畫風(fēng)的一股清流嗎?
- 反向激勵能救活多少APP?互聯(lián)網(wǎng)就該想些“歪點子”!
- 易北辰:iPhone用戶擁抱三星Galaxy Note7 只需三理由?
- 不甘心偏安一隅的豆瓣進(jìn)軍影業(yè),你看好它嗎?
- 滴滴Uber合并一個月了,原本以為悲劇的易到卻是月活用戶連漲
- Facebook為什么要做游戲直播?
- 國產(chǎn)手機(jī)集體漲價 存量市場下如何活命?