當(dāng)AI機器人穿過房間時，它會經(jīng)過兩個沙發(fā)，一張咖啡桌和數(shù)張棕褐色椅子。在地毯打轉(zhuǎn)一番后，它朝研究人員所要求的鑰匙徑直走去。

但這實際上是Replica項目的一次數(shù)字模擬。對于這項研究，F(xiàn)acebook Reality Labs（FRL）針對18個樣本空間創(chuàng)建了照片級真實感的副本，如辦公室和雙層房屋。

為了幫助AI研究人員向機器提供真實物理世界的感知，F(xiàn)RL開發(fā)了所述的虛擬空間 ，而這是開發(fā)出更強大的現(xiàn)實助手，以及下一代增強現(xiàn)實和虛擬現(xiàn)實體驗的重要一步。Facebook的想法是，如果研究人員能夠訓(xùn)練人工智能系統(tǒng)在一個逼真的數(shù)字客廳中定位一組虛擬鑰匙，機器人最終將能夠在真實房間中定位真實的鑰匙。如果AR/VR應(yīng)用程序可以學(xué)習(xí)如何與不同的物理環(huán)境進行交互，未來我們將能夠通過照片級真實的數(shù)字化身來參加遠方親人的生日聚會。

研究人員相信，如果模擬環(huán)境能夠捕捉到細微的細節(jié)（如鏡面反射和地毯紋理），他們將能最大化訓(xùn)練效果。這正式FRL開展Replica項目的原因。

這個視頻顯示了Replica模擬與真實世界空間（左邊是真實世界；右邊是數(shù)字副本）

“Relica數(shù)據(jù)集為真實空間的三維重建真實性和質(zhì)量設(shè)定了新標(biāo)準(zhǔn)。”FRL科學(xué)家朱利安·斯特拉布（Julian Straub）如是說道。斯特拉布曾在德國研讀了電子工程學(xué)，并在麻省理工學(xué)院獲得了計算機科學(xué)博士學(xué)位，然后加入FRL并專攻機器感知。首席科學(xué)家邁克爾·亞伯拉什則指出，F(xiàn)RL的使命是開發(fā)幫助AR和VR成為下一個計算平臺所需的技術(shù)。諸如Replica這樣的項目將在實現(xiàn)這一愿景的過程中發(fā)揮重要作用。

這是FRL創(chuàng)建的一個數(shù)字Replica環(huán)境

Replica精確性和保真度得益于精心設(shè)計的攝像裝置，深度捕獲系統(tǒng)，SLAM系統(tǒng)，以及密集重建系統(tǒng)的有機組合。利用以紅外線投射到場景中的點，F(xiàn)RL的高精度深度捕獲系統(tǒng)能夠捕獲桌子和椅子等大型物體和遙控器等小型物體的精確形狀。

定制的SLAM和密集重建系統(tǒng)可以將攝像裝置捕獲的原始視頻流轉(zhuǎn)換為真實空間的副本，而即使是最為細心的用戶都難以區(qū)分真假。（更多細節(jié)請參閱Replica數(shù)據(jù)集白皮書，以及團隊于2018 SIGGRAPH大會的演講介紹 ）。

研究人員在陌生的Relica環(huán)境生成了一個虛擬機器人。位置隨機（藍點），然后它將要導(dǎo)航到目的地（紅點）。研究人員向機器人給出相對于其起始位置的指令，例如“向北10米和向西15米” ，但不提供地圖。機器人必須僅利用感官輸入（常規(guī)RGB攝像頭，某些情況包括深度攝像頭）來完成目標(biāo)。

1. 一小時內(nèi)練習(xí)數(shù)百萬次任務(wù)

Replica可以加載到AI Habitat。AI Habitat由Facebook AI開發(fā)，是一個用于具現(xiàn)AI研究的全新開源平臺，同時旨在成為研究人員在模擬空間中訓(xùn)練和測試AI機器人的最強大和最靈活方式。AI Habitat允許研究人員將機器人置放于Replica環(huán)境中，并學(xué)習(xí)如何處理不同的任務(wù)，比方說“看看我的筆記本電腦是否放在廚房的桌面上”。這種任務(wù)對于人類來說非常簡單，但機器人則不然，因為它們必須識別對象，理解語言，并有效地進行導(dǎo)航。今天的機器人（如智能掃地機）可以響應(yīng)命令，但無法像人類那樣理解和適應(yīng)周圍的世界。AI Habitat可以幫助研究人員開發(fā)能夠理解物理世界的機器人。但它同時是創(chuàng)造下一代AR體驗的重要研究工具。如果我們能夠訓(xùn)練AI系統(tǒng)理解你周圍的物理空間，未來有一天我們或許可以將它融入至AR眼鏡。例如，它可以將你奶奶的數(shù)字副本逼真地置放于沙發(fā)之上，或者當(dāng)你走過餐館或商店時顯示相關(guān)的用戶評價。

Replica提供了逼真的3D數(shù)據(jù)，而AI Habitat則為模擬提供了速度和靈活度。盡管其他模擬引擎通常能夠以每秒50幀到100幀的速度運行，但AI Habitat的運行速度超過每秒10000幀（單個GPU的多進程）。這使得研究人員能夠更加快速地測試機器人。如果說另一個模擬器需要運行數(shù)個月的時間，Habitat只需數(shù)小時即可完成。Facebook AI研究實習(xí)生、佐治亞理工學(xué)院博士后埃里克·韋杰曼斯（Erik Wijmans），以及AI Resident巴瓦納·杰恩（Bhavana Jain）利用這個系統(tǒng)來進行最先進的研究，用超過10億幀的體驗來訓(xùn)練機器人。虛擬機器人同時可以不斷犯錯，但無需擔(dān)心損壞的風(fēng)險，如撞墻摔倒等等。

Facebook現(xiàn)在已經(jīng)開源了AI Habitat并發(fā)布Replica數(shù)據(jù)集，所以社區(qū)中的任何人都能夠以其作為基礎(chǔ)進行探索，嘗試新方法，比較結(jié)果并從其他人的研究中學(xué)習(xí)。（關(guān)于Habitat的技術(shù)細節(jié)請訪問這個頁面，Replica環(huán)境則托管至GitHub。）。Facebook表示，不同企業(yè)和組織的研究人員之間的信息公開共享是自然語言理解，計算機視覺等人工智能技術(shù)進步的關(guān)鍵，而Facebook AI和FRL相信這對AI Habitat和Replica而言同樣如此。

為了建立可供所述領(lǐng)域中的所有人使用的性能基準(zhǔn)，F(xiàn)acebook AI最近組織了一次Habitat Challenge挑戰(zhàn)賽，邀請來自AI社區(qū)的工程師和研究人員為機器人完成特定導(dǎo)航任務(wù)尋找最佳的方式。

Replica數(shù)據(jù)集數(shù)能夠識別并標(biāo)記在虛擬空間中確定的對象，為不同類別的對象分配不同的顏色，如“椅子”或“墻壁”。AI研究人員可以利用這種“語義分段”數(shù)據(jù)來開發(fā)出更智能的系統(tǒng)。

Habitat團隊負責(zé)人、Facebook人工智能研究科學(xué)家兼喬治亞理工學(xué)院教授領(lǐng)杜魯弗·巴特拉（Dhruv Batra）認為，這種技術(shù)有朝一日可以幫助機器人學(xué)會如何智能地適應(yīng)現(xiàn)實世界，不再僅僅局限于我們的智能手機或筆記本電腦。他與同事將其描述為從“互聯(lián)網(wǎng)人工智能”變成“具身化人工智能”。這意味著在訓(xùn)練機器不僅要利用靜態(tài)數(shù)據(jù)集（如汽車照片），同時需要采用交互式環(huán)境（如充滿模擬汽車的模擬停車場）。巴特拉和眾多AI研究人員都認為，這種交互式對于構(gòu)建能夠在物理世界和數(shù)字世界中幫助我們的全新智能工具浪潮而言非常有必要。

2. 打造能夠創(chuàng)建“社交臨場感”的工具

利用AI Habitat等開放式平臺模擬來訓(xùn)練系統(tǒng)，研究人員可以在具身化人工智能技術(shù)方面取得進展。例如，巴特拉認為未來的工具可以幫助視障人士更好地導(dǎo)航周遭環(huán)境。

FRL研發(fā)總監(jiān)理查德·紐科姆（Richard Newcombe）指出，其中一個令人興奮不已的應(yīng)用是將“社交臨場感”帶到物理世界。今天的虛擬現(xiàn)實能夠允許用戶與數(shù)百公里之外的朋友共享虛擬空間。紐科姆正致力于通過通過AR眼鏡為體驗帶來進一步的逼真感，并在日常生活中實現(xiàn)社交臨場感。有了這項技術(shù)，朋友和家人在未來將能以萊雅公主般的逼真全息圖出現(xiàn)在你身邊。為了創(chuàng)造這種社交臨場感，AI系統(tǒng)需要支持?jǐn)?shù)字化身自然而逼真地來與物理空間進行交互，或者能夠?qū)⒛銈魉椭烈粋€仿如真實的模擬環(huán)境。

紐科姆解釋說：“就像FRL在研究虛擬人類時所實現(xiàn)的人類臨場感捕獲與傳輸一樣，我們的重建研究能夠?qū)崿F(xiàn)仿佛置身于一個地方的感覺，如辦公室，家里，商店，博物館或咖啡店。”這位Facebook的研究人員熱衷于開發(fā)能夠感知和理解世界情景的技術(shù)。他16歲就開始涉足這個領(lǐng)域，并在埃塞克斯大學(xué)攻讀機器人，計算機視覺和機器學(xué)習(xí)，并于倫敦帝國理工學(xué)院獲得了博士學(xué)位。他于四年前加入Facebook，然后開始領(lǐng)先致力于實現(xiàn)AI和XR應(yīng)用程序機器感知未來的研究和孵化團隊。Replica的面世是實現(xiàn)這一目標(biāo)的重要一步。

另一個Replica環(huán)境能夠捕獲諸如電源插座和書柜玻璃門背后的物體等細節(jié)。

3. 一種負責(zé)任的開源方式

打造諸如社交臨場感之類的體驗將需要硬件方面的突破，以及Replica和AI Habitat等訓(xùn)練資源的持續(xù)進步。但紐科姆指出，這同時存在重要的隱私和安全考量。

他指出：“我們必須孜孜不倦的地生成重建，場景理解，以及AI推理系統(tǒng)。”。研究人員和工程師，以及外部專家和公眾需要通過合作來解決變革性技術(shù)對社會和個人的影響。要做到這一點，企業(yè)必須保持公開透明的態(tài)度，并分享最新的進展。在F8大會，F(xiàn)acebook介紹了最近關(guān)于道德設(shè)計和解決偏見的研究，而這對于AR體驗和具身化AI的研究進展非常重要。

對于Replica掃描，研究人員將匿名數(shù)據(jù)，刪除可識別個人的任何詳細信息（例如家庭照片）。在構(gòu)建這種3D重建技術(shù)時，F(xiàn)RL研究人員同時需要確保這是一個強大的安全系統(tǒng)。例如，數(shù)據(jù)安全地存儲在服務(wù)器中，而且只有有限數(shù)量的研究人員能夠訪問。另外，團隊定期與隱私，安全和系統(tǒng)方面的專家進行聯(lián)合審查，從而確保他們遵循相關(guān)安全協(xié)議并實施最新和最嚴(yán)格的保障措施。只有在完成所述步驟后，他們才會向更廣泛的研究社區(qū)提供掃描數(shù)據(jù)。

在AR社交臨場感和高級AI助手等技術(shù)成為現(xiàn)實之前，我們需要更多的技術(shù)突破。例如，F(xiàn)acebook AI研究人員正在探索通過AI Habitat構(gòu)建逼真物理建模的方法，從而幫助AI機器人理解當(dāng)它碰到虛擬桌面上的虛擬玻璃杯時會發(fā)生什么情況。隨著這個項目的開展，Replica和AI Habitat的研究人員相信它們將在Facebook的未來中發(fā)揮重要作用。通過實現(xiàn)下一代具身化AI，這種技術(shù)將能釋放AR眼鏡的潛力，并幫助人們更好地理解周遭的世界，同時以強大的新方式幫助人類進行溝通和協(xié)作。

紐科姆最后說道：“通過將AR眼鏡作為一個平臺，社交臨場和AI助手將能幫助你實現(xiàn)最高的效率，并為你呈現(xiàn)你所希望看到的世界。”

原文鏈接：https://yivian.com/news/62369.html

來源：映維網(wǎng)