Pixvana基于云端的VR管道現(xiàn)在包含了NVIDIA VRWorks 360 Video SDK。Pixvana希望利用云計(jì)算的力量來(lái)幫助解決VR創(chuàng)意人士所面臨的諸多挑戰(zhàn)。Pixvana VR管道的亮點(diǎn)包括：

兼容所有主要VR頭顯的視頻播放器，方便進(jìn)行視頻分發(fā)。后期處理工具和選項(xiàng)，可為頭顯提供最佳質(zhì)量的360度視頻。提供拼接工具（利用VRWorks），可根據(jù)各種相機(jī)系統(tǒng)創(chuàng)建360度視頻?；赪eb的平臺(tái)，支持Chrome瀏覽器共享，編輯和資源管理。可定制的交互式視頻允許圖形疊加與測(cè)試。用于創(chuàng)建交互式視頻的頭顯內(nèi)編輯工具。…

Pixvana聯(lián)合創(chuàng)始人兼首席技術(shù)官Scott Squires，以及高級(jí)計(jì)算機(jī)視覺(jué)科學(xué)家Paul Barsic日前撰文概述了制作360度視頻的基礎(chǔ)知識(shí)，并且介紹了Pixvana基于云端的工具套件，以及VRWorks中的關(guān)鍵流程，目的是幫助大家充分利用相關(guān)程序來(lái)開(kāi)發(fā)360度/度VR項(xiàng)目。以下是映維網(wǎng)的具體整理：

1. 創(chuàng)建360度視頻

Pixvana專(zhuān)注于幫助創(chuàng)作者在不減損視頻質(zhì)量的情況下制作360度視頻。高質(zhì)量的360度視頻需要在專(zhuān)門(mén)的相機(jī)系統(tǒng)來(lái)捕捉環(huán)境的所有角度圖像。如下圖所示，相關(guān)的相機(jī)系統(tǒng)一般都會(huì)搭載多個(gè)傳感器和多個(gè)攝像頭。

圖1：左邊是Kandao Obsidian R Professional 3D 360 Camera；右邊是Insta360 Pro Camera。

各個(gè)攝像頭捕獲的視頻這些視頻視圖需要校準(zhǔn)，曝光補(bǔ)償，并在名為“拼合”的過(guò)程中進(jìn)行組合，如圖2所示。其他后期制作功能允許編輯者對(duì)圖像進(jìn)行細(xì)化操作，旋轉(zhuǎn)和顏色校正。拼合和處理一系列圖像會(huì)產(chǎn)生通常為8K或更大的等量矩形視頻。

圖2：SPIN Studio后期處理工具和360度拼接工具

盡管等量矩形是360度視頻的標(biāo)準(zhǔn)格式，但它存在明顯的缺點(diǎn)，包括圖像最高點(diǎn)區(qū)域和最低點(diǎn)區(qū)域的像素浪費(fèi)。所以除了等量矩形視頻外，我們同時(shí)支持多種包含不同幾何形狀和打包方式的專(zhuān)業(yè)格式，如菱形平面和FOVAS（視場(chǎng)自適應(yīng)流式傳輸）。菱形平面是一種特殊的投影格式，可以縮減數(shù)據(jù)大小。FOVAS則采用特殊的平鋪格式和流媒體技術(shù)。即使用戶轉(zhuǎn)頭，它都可以在活動(dòng)視場(chǎng)中提供高分辨率內(nèi)容。所述格式旨在克服標(biāo)準(zhǔn)視頻的限制，最終目標(biāo)是在較低帶寬下生成更高質(zhì)量的視頻。

圖3是海灘情景的等量矩形投影。請(qǐng)注意，最高點(diǎn)位置和最低點(diǎn)位置的畸變情況。所述像素都是過(guò)度采樣，需要更多的帶寬進(jìn)行傳輸，而這是一種浪費(fèi)。

圖3：海灘情景的等量矩形投影

圖4是菱形平面投影的格式，其中圖像被投影至二十面體之上。圖像的小平面會(huì)被重新排列以適合平面。這種投影格式解決了過(guò)采樣問(wèn)題，使得圖像更小，并而流式傳輸效果更高。

圖4：海灘情景的菱形平面投影

FOVAS方法則需要?jiǎng)?chuàng)建同一視頻的多個(gè)視圖，而每個(gè)視圖都可以調(diào)整至特定的瀏覽方向。然后，播放器根據(jù)需要切換至正確的視頻。

無(wú)論格式如何，VR視頻制作的下一步都是創(chuàng)建具有不同比特率的多個(gè)文件版本，以便視頻可以作為可變比特率視頻進(jìn)行流式傳輸和下載。對(duì)于拼合，顏色調(diào)整，格式改動(dòng)等流程，它們都可以利用云端和GPU來(lái)高效快速地生成所需輸出。

1.2 基于云端的系統(tǒng)：分發(fā)，后期制作和處理

分發(fā)是球形視頻創(chuàng)作者面臨的主要挑戰(zhàn)之一。目前最先進(jìn)的技術(shù)是將視頻側(cè)載至各臺(tái)設(shè)備。但這需要相當(dāng)漫長(zhǎng)的時(shí)間，并且需要頭顯和視頻制作者位于同一位置。Pixvana的SPIN Play功能簡(jiǎn)化了這個(gè)工作流程，支持遠(yuǎn)程管理和跟蹤變化。它同時(shí)允許在未網(wǎng)時(shí)將完整內(nèi)容下載至配對(duì)的頭顯并進(jìn)行播放。

SPIN Play提供兩種播放模式：Share Mode和Guide Mode。Share Mode用于短期瀏覽，例如與遠(yuǎn)程同事協(xié)作。要訪問(wèn)這一模式，你只需在視頻播放器中輸入唯一的九位密碼，如圖5所示。所述密碼可以標(biāo)識(shí)相應(yīng)的播放列表。接下來(lái)，用戶可以進(jìn)行完全控制，并且能夠輕松退出共享會(huì)話。

圖5：共享模式設(shè)置

Guide Mode則針對(duì)需要更高管理權(quán)限的體驗(yàn)，例如VR電影或企業(yè)培訓(xùn)場(chǎng)景。運(yùn)行Guide Mode的頭顯可以跟蹤在線內(nèi)容，響應(yīng)更改，并且可以切換至可供管理的播放模式。單位演示者可以同步數(shù)十款頭顯，開(kāi)始和停止播放，甚至可以跟蹤所有用戶的注視點(diǎn)。這樣特殊的功能使其成為了VR電影節(jié)和企業(yè)客戶的理想選擇。圖6是Guide Mode的管理屏幕。

圖6：Guide Mode

為了提高360度視頻的用處和吸引力，我們添加了創(chuàng)建交互式視頻的工具，如圖7所示。制片可以在VR里面編輯交互式視頻，并直接在頭顯中為最終瀏覽環(huán)境添加端口，圖形和文本。

圖7：SPIN Plau允許你創(chuàng)建交互式360度視頻

處理VR視頻所需的系統(tǒng)性能是VR創(chuàng)作者面臨的又一重大挑戰(zhàn)。典型的VR相機(jī)裝置由大約六個(gè)或更多高分辨率的攝像頭組成。無(wú)論編輯決策如何，攝像頭圖像都必須對(duì)齊，拼合，并渲染成最終的超高分辨率（8K）視頻。這需要大量的處理能力。英偉達(dá)顯卡明顯是個(gè)正確的解決方案，但渲染所需的性能和時(shí)間大幅度占用了工作站。一些編輯工作者得不得在一天工作結(jié)束后令設(shè)備繼續(xù)處理，從而影響了工作流程。

SPIN Studio是Pixvana基于云端的平臺(tái)，借助VRWorks 360 Video，它可以在合理的時(shí)間內(nèi)渲染高質(zhì)量的VR視頻。Amazon Web Services (AWS)托管的智能資源管理系統(tǒng)允許用戶同時(shí)編輯和渲染多個(gè)視頻。一旦用戶請(qǐng)求渲染，系統(tǒng)就將視頻分成多個(gè)片段，然后將其分發(fā)到多個(gè)實(shí)例。這樣的系統(tǒng)可以管理不同云服務(wù)平臺(tái)之間的工作，從而實(shí)現(xiàn)更高的吞吐量。在當(dāng)前的架構(gòu)中，Pixvana利用了AWS和Microsoft Azure。

完成工作后，最后一個(gè)進(jìn)程是收集結(jié)果，從而完整地生成最終視頻。每個(gè)GPU實(shí)例都運(yùn)行Callisto，亦即我們內(nèi)部的視頻處理引擎，它位于Docker容器的一個(gè)實(shí)例之中。Callisto集成了行業(yè)標(biāo)準(zhǔn)計(jì)算機(jī)視覺(jué)庫(kù)，包括FFMPEG和OpenCV，我們自家基于C ++和CUDA的圖像處理算法，以及VRWorks 360 Video SDK。

所有VR視頻處理都涉及以下步驟：

校準(zhǔn),或確定旋轉(zhuǎn)和扭曲輸入圖像的規(guī)則編輯，裁剪，顏色處理，拼合調(diào)整，以及定向渲染和編碼

借助云端技術(shù)，新的專(zhuān)業(yè)格式，以及Pixvana突破性的VR管道，創(chuàng)建360度視頻變得前所未有的輕松。接下來(lái)，我們將討論在VRWorks中的圖形，360度視頻和空間化音頻，以及Pixvana VR管道的未來(lái)計(jì)劃。

2. 云端的VRWorks

現(xiàn)在我們來(lái)討論如何利用VRWorks和基于云端的處理來(lái)優(yōu)化VR視頻制作。我們同時(shí)將介紹在這一過(guò)程中開(kāi)發(fā)出的最佳實(shí)踐。

2.1 VRWorks的工作原理

VRWorks是一組特定于VR的API，庫(kù)和引擎。VRWorks由三個(gè)主要組件組成：VRWorks Graphics（適用于應(yīng)用程序和頭顯開(kāi)發(fā)者），VRWorks 360 Video和VRWorks Audio（適用于空間化的光追音頻）。Pixvana主要利用了360 Video。

NVIDIA VRWorks 360 Video SDK支持基于文件，基于流傳輸數(shù)據(jù)，以及基于幀的工作流程。它包括五個(gè)模塊：High-Level拼合器，校準(zhǔn)器，Low-Level拼合器，打包器，以及空間音頻處理器。High-Level管道包括GPU加速解復(fù)用器，復(fù)用器，解碼和編碼，并可直接處理視頻文件和流傳輸數(shù)據(jù)。

盡管經(jīng)過(guò)了優(yōu)化，但High-Level拼合器并沒(méi)有提供給交互的能力。相反，我們選擇使用校準(zhǔn)器和Low-Level拼合器的組合來(lái)實(shí)現(xiàn)用戶交互。Low-Level拼合管道直接配合CUDA設(shè)備存儲(chǔ)中的幀，并為執(zhí)行和數(shù)據(jù)傳輸?shù)木€程提供了更大的靈活性和應(yīng)用程序控制。高度優(yōu)化的、基于CUDA的打包器可以在透視，魚(yú)眼和等量投影之間轉(zhuǎn)換圖像，從而執(zhí)行圖像扭曲和失真消除。扭曲操作同時(shí)可以將等量矩形拼合輸出轉(zhuǎn)換為投影格式（如立方體貼圖），以便消除過(guò)度采樣并減少所需的流式傳輸帶寬。

圖8是校準(zhǔn)工作流程。左側(cè)框標(biāo)有“Sources”，這表示用戶輸入。英偉達(dá)校準(zhǔn)器根據(jù)至少一幀來(lái)確定每個(gè)攝像頭的一組完整內(nèi)部參數(shù)（焦距，畸變系數(shù)，視場(chǎng)）和外部參數(shù)（方向和位置）。

圖8：校準(zhǔn)流程示例

存在一定的注意事項(xiàng)，如特征距離，足夠的特征和適當(dāng)?shù)恼彰?。?chǎng)景特征不應(yīng)該位于相機(jī)裝置的一米或兩米以內(nèi)，因?yàn)轱@著的視差會(huì)混淆算法。具有大片無(wú)特征區(qū)域（如墻壁）的場(chǎng)景可能會(huì)產(chǎn)生對(duì)齊問(wèn)題。最后，場(chǎng)景應(yīng)該要提供足夠的照明，不能太暗，也不能太亮。

圖9是易于校準(zhǔn)的情況。

圖9：后期校準(zhǔn)，簡(jiǎn)單的照明

圖10則是非常有挑戰(zhàn)性的案例。你可以看到場(chǎng)景非常光亮。在這種情況下，向校準(zhǔn)系統(tǒng)提供焦距估計(jì)可以提供幫助。但是，你可以顯著看到明顯的對(duì)齊問(wèn)題。

圖10：更為復(fù)雜和多變的照明產(chǎn)生了校準(zhǔn)方面的挑戰(zhàn)

下面的代碼片段是一個(gè)名為NVcalib的VRWorks校準(zhǔn)器函數(shù)。它分為7個(gè)關(guān)鍵的步驟：

創(chuàng)建校準(zhǔn)實(shí)例設(shè)置相機(jī)裝置屬性設(shè)置校準(zhǔn)選項(xiàng)將輸入圖像指針（Pointer）傳輸至校準(zhǔn)實(shí)例指令校準(zhǔn)器執(zhí)行校準(zhǔn)檢索結(jié)果銷(xiāo)毀校準(zhǔn)實(shí)例

nvssVideoStitch底層拼合器函數(shù)同樣易于調(diào)用。下面是粗略的示意性步驟，并不代表最佳工作流程：

設(shè)置拼合器屬性初始化拼合器實(shí)例 (每個(gè)視頻需要一次)將輸入數(shù)據(jù)加載至nvstitch實(shí)例執(zhí)行拼合將拼合器的拼合圖像復(fù)制到outputRGBA銷(xiāo)毀校準(zhǔn)實(shí)例（每個(gè)視頻需要一次）

曝光補(bǔ)償是VR視頻的一個(gè)重要問(wèn)題。由于在室外拍攝360度場(chǎng)景將包括太陽(yáng)光和陰影，因此動(dòng)態(tài)范圍會(huì)發(fā)生很大變化。相機(jī)傳感器的動(dòng)態(tài)范圍有限，所以相機(jī)裝置中的每個(gè)攝像頭通常會(huì)自動(dòng)設(shè)置曝光。對(duì)于最終的拼合圖像而言，重疊的區(qū)域會(huì)出現(xiàn)不同的亮度。我們測(cè)量亮度差異，并且進(jìn)行曝光補(bǔ)償，然后再將它們傳輸至VRWorks拼合器。Pixvana正在與英偉達(dá)團(tuán)隊(duì)合作優(yōu)化拼合器，并提供更多的控制和功能以產(chǎn)生更好的拼合。

3. 云處理的優(yōu)點(diǎn)，缺點(diǎn)及解決方案

圖11說(shuō)明了云計(jì)算的其中一個(gè)主要優(yōu)勢(shì)。示例視頻中的每個(gè)輸入分成短節(jié)段，然后分配給多個(gè)計(jì)算機(jī)以進(jìn)行拼合。收集拼合節(jié)段，并編碼成單個(gè)拼合視頻。接下來(lái)，將最終視頻放到用戶的媒體asset庫(kù)中，這樣用戶隨時(shí)都可以觀看。

圖11：SPIN Studio的云處理為360度視頻提供了大量的并行處理

我們基于云端的方法存在四個(gè)重要的局限性。首先，我們對(duì)GPU的控制有限。其次，我們必須維護(hù)一個(gè)基于Web的VR編輯器。第三，我們需要管理一系列服務(wù)之間的協(xié)同工作。最后，用戶必須上傳源視頻，而這可能是一個(gè)耗時(shí)的過(guò)程。

為了解決將文件傳輸至云端系統(tǒng)的問(wèn)題，Pixvana為Windows和Mac OS開(kāi)發(fā)了云攝取功能和桌面上傳器。桌面上傳器在中斷后可以恢復(fù)（如網(wǎng)絡(luò)丟失或系統(tǒng)斷電），從而為用戶提供了最大的靈活性。上傳器同時(shí)理解文件夾層次結(jié)構(gòu)，可以在云端復(fù)制用戶定義的文件結(jié)構(gòu)。上傳狀態(tài)將同時(shí)報(bào)告給Web UI和上傳器，允許遠(yuǎn)程編輯器跟蹤進(jìn)度。

Pixvana同時(shí)創(chuàng)建了一套工具來(lái)解決VR創(chuàng)建者面臨的主要問(wèn)題。亮點(diǎn)包括通用播放器，頭顯內(nèi)后期處理工具，以及基于Web的編輯與管理系統(tǒng)。云計(jì)算令所有這些創(chuàng)新成為可能。這個(gè)基于云端的VR視頻編輯平臺(tái)以英偉達(dá)的VRWorks為核心，同時(shí)將成為Pixvana實(shí)現(xiàn)XR故事敘述潛力的方式。

4. 未來(lái)計(jì)劃

為繼續(xù)提升電影制作體驗(yàn)與質(zhì)量，Pixvana致力于改進(jìn)我們基于云端的VR管道。

隨著視頻處理量的增加，我們正在尋求利用機(jī)器學(xué)習(xí)和人工智能來(lái)探索360度電影制作的可能性。我們同時(shí)在研究如何利用圖像識(shí)別功能，支持內(nèi)容感知填充，以及優(yōu)化視頻內(nèi)容元數(shù)據(jù)來(lái)改善拼合過(guò)程。盡管我們目前專(zhuān)注于面向VR頭顯的360度視頻，但我們期望涵蓋AR和MR的專(zhuān)門(mén)用例。體三維捕獲正繼續(xù)發(fā)展，并可提供完整的六自由度捕獲體驗(yàn)。隨著它變得越加實(shí)用，對(duì)這項(xiàng)功能的支持將整合至管道之中。光場(chǎng)是另一種VR視頻技術(shù)，可以在六自由度環(huán)境中提供完全復(fù)制的實(shí)時(shí)捕捉。

當(dāng)然，所有這一切將需要云端提供更多的GPU性能。

原文鏈接：https://yivian.com/news/60068.html

來(lái)源：映維網(wǎng)