5G與VR/AR到底有沒有一毛錢關(guān)系？我們認真地做了這些研究
本文作者馬杰思（微信：jiesima），小米VR/AR高級總監(jiān)，新浪VR授權(quán)發(fā)布。5G來了，VR/AR概念似乎回暖了。投資、咨詢、市場分析等領(lǐng)域里關(guān)心5G+VR/AR的人又多了起來。然而也有不少從業(yè)者認為5G+VR/AR純屬概念炒作，認為兩者之間并沒有一毛線關(guān)系，甚至大有談5G就踢群的架勢。所以5G+VR/AR到底有沒有真實的價值？在做了相關(guān)的研究后，我們認為：1、5G的大帶寬特點對于VR的價值是在線觀看5K以上辨別率的全景視頻，對于AR在現(xiàn)階段價值不大。2、5G低時延特點的價值是通過云游戲技術(shù)提升畫質(zhì)，同時幫助云游戲技術(shù)降低其“網(wǎng)絡時延”，使得采用云游戲技術(shù)方案的VR/AR產(chǎn)品的“運動到成像時延”能夠達到20毫秒的及格線以內(nèi)（“網(wǎng)絡時延”是“運動到成像時延”的組成部分）。3、5G的低時延特點并無法直接幫助現(xiàn)在的VR/AR產(chǎn)品降低“運動到成像時延”。下文我們將詳細拆解5G與VR/AR的關(guān)系。一、VR/AR如何接入5G網(wǎng)絡？要讓5G發(fā)揮作用，先得讓VR/AR連上5G網(wǎng)絡。我們先說VR。VR領(lǐng)域中最為主流的品類是VR一體機，即無需連接手機或PC，內(nèi)置處理器，可以獨立運用的VR產(chǎn)品。VR一體機運用的芯片組往往是手機3年前的配置，現(xiàn)在主流產(chǎn)品依然在運用高通驍龍821和835。這些芯片組不具備直接接入5G網(wǎng)絡的能力。其實不僅僅是VR，現(xiàn)存的各類其他硬件產(chǎn)品也都不支持5G，僅支持Wi-Fi或4G。為了應對這一問題，出現(xiàn)了5G CPE這樣的設(shè)備。它可以將5G信號轉(zhuǎn)化為Wi-Fi信號，現(xiàn)存產(chǎn)品就可以通過Wi-Fi連到5G CPE，再連上5G網(wǎng)絡了。聽起來這和千兆家庭寬帶也沒有什么分別嘛？從家庭的運用場景來看，確實如此，無論運用5G CPE還是千兆家庭寬帶，VR一體機均為通過Wi-Fi進行連接，兩者達到的下載速率也是相似的（千兆bps）。同時，由于VR是全沉浸式的體驗，絕大部分用戶是在家里運用，對于移動性的需要較小，因此千兆家庭寬帶能很好發(fā)揮作用，對于5G網(wǎng)絡的需要則相對較小。千兆家庭寬帶和5G，在面對復雜的城鄉(xiāng)基礎(chǔ)設(shè)施環(huán)境時，都存在鋪設(shè)網(wǎng)絡的可行性、效率、成本等問題。所以，對于VR來說，關(guān)鍵是看5G CPE和千兆家庭寬帶誰能更快更廣的普及了。對于AR來說，故事則有所不一樣。現(xiàn)在國內(nèi)做AR眼鏡的整體思路是，讓AR眼鏡通過有線方式連接到手機上（Displayport over Type-C），AR眼鏡僅僅作為顯示單元，運算和電池都是用的手機，以此來降低眼鏡的重量，提升佩戴舒適性（雖然現(xiàn)在的技術(shù)距離全天舒適佩戴還有很遠的距離）。因此AR眼鏡是否能連上5G網(wǎng)絡，主要得看它連接的手機是否支持5G?，F(xiàn)在已經(jīng)能看到，多家手機廠商放出了5G實測視頻，相信5G手機的面世也將很快發(fā)生。相比VR，AR眼鏡能夠相對輕松的搭上5G手機這趟順風車。好，現(xiàn)在連上5G了，Now what？5G有三大特點：大帶寬、超低時延與高可靠性、大規(guī)模連接。其中前兩者是與VR/AR息息相關(guān)的，我們接下來分別進行討論。二、5G大帶寬對于VR/AR的作用5G大帶寬對于VR的作用在于提升全景視頻的辨別率和碼率，從而達到更好的觀看體驗。雖然現(xiàn)在的VR設(shè)備都可以觀看全景視頻，但是辨別率和碼率往往達不到及格線，看起來感覺糊成一鍋粥，這是一個普遍的問題。我們來看看及格線的要求是什么。在看視頻的時候，我們希望視頻的辨別率與屏幕的辨別率保持一致，以達到最好的效果。比如用1080p的電腦屏幕看1080p的視頻，是最佳體驗。VR頭顯的視場角一般是110°左右，全景視頻是一個360°的球體，相當于VR頭顯視場角的3倍多。VR頭顯屏幕辨別率一般為2K或4K，因此全景視頻的最佳辨別率也是其3倍多，即8K或12K。只有達到這樣的辨別率才能有優(yōu)秀的觀影體驗，然而這樣的辨別率對于寬帶速率要求是極高的?，F(xiàn)在主流視頻平臺的1080p視頻，碼率大約在1~2Mbps。比如愛奇藝的《海王》全長2.17小時，1080p視頻文件大小為1.58GB，碼率約為1.6Mbps。我國平均的網(wǎng)速速率遠高于這一碼率，所以一般情況下，你看1080p視頻沒有任何問題。而VR全景視頻的碼率則要高了一個數(shù)量級。以行業(yè)標桿的Oculus Studios出品的《Henry》為例，其片長為8分42秒，辨別率為5K，文件大小為1.3GB，碼率約為20.8Mbps。這已經(jīng)接近我國平均網(wǎng)速速率，大量用戶會無法流暢地在線觀看，必須要下載下來看才行。這就有點像15年前，大家看視頻都得先通過BT或電驢下載下來一樣?，F(xiàn)在你要看一個超高清的、高碼率的優(yōu)質(zhì)VR全景視頻，也需要先下載下來，才能保證最好的觀影體驗。5G和千兆家庭寬帶，使得網(wǎng)絡速率提升到1000Mbps左右，讓在線觀看20Mbps的全景視頻成為可能，大家觀看VR全景視頻就和現(xiàn)在愛奇藝1080p視頻的體驗一樣了。除了視頻之外，VR云游戲同樣需要大帶寬。VR云游戲其實也是一個全景視頻流，也是360°的，因此也需要上述相同的辨別率和碼率，才能達到最佳的體驗效果。對于AR來說，5G的大帶寬有什么作用？當前行業(yè)所暢想的AR眼鏡使用場景主要分為兩類：第一類是手機的大屏化：將手機操作系統(tǒng)變成一個大屏的、多窗口的體驗。手機的大屏化場景所需的網(wǎng)絡帶寬與現(xiàn)有手機和PC無不一樣，5G無法提供額外的附加價值。第二類是原生AR體驗：即利用計算機視覺識別現(xiàn)實中的場景，將虛擬信息有機的疊加到現(xiàn)實的場景中。原生AR體驗往往是基于3D圖形的，5G大帶寬的作用主要是提升3D模型的實時加載速度，讓3D模型無需提前下載到本地，只有需要用到的時候再從云端進行加載，減少包體大?。ㄗ⒁猓@并不是云游戲的技術(shù)方案）。然而3D圖形加載速度這個改善的價值十分微小。受限于移動設(shè)備的算力，3D模型文件體積并不大，而且大部分使用場景對于實時加載的需要也并不強烈。只有等到對3D模型的精度需要極高、對3D模型實時加載的需要很強的情況下，5G才有其發(fā)揮的價值?，F(xiàn)在能看到這樣的場景就是VR/AR Telepresence（又稱VR/AR Holoportation），即將人體進行3D重建或體量捕捉（Volumetric Capture）后，遠程進行近似于面對面一般的VR/AR通信。不過這樣的技術(shù)還處于實驗室階段，距離消費市場還很遙遠。另外，由于AR眼鏡并不合適觀看全景視頻，因此5G的大帶寬也無用武之地。三、5G低時延對于VR/AR的作用一提到5G低時延對于VR/AR的作用，你能在各種媒體上看到相似“5G降低VR/AR時延，搞定VR/AR眩暈感”這樣的說法。這是一個巨大的錯誤認知。5G對于降低VR/AR時延沒有任何的作用。要講清楚這個問題，我們先來看什么是VR/AR時延。VR/AR時延又稱為運動到成像時延（Motion-to-Photon Latency），是指從IMU或視覺傳感器檢測頭部/手部的運動，到圖像引擎渲染出對應的新畫面并顯示到屏幕上，這樣一個鏈路的時延。主流的VR頭顯均已在本地做到了20毫秒以內(nèi)的運動到成像時延，整個鏈路都是在本地設(shè)備上完成的，并不需要連網(wǎng)。20毫秒是一個人類感知的黃金分割線，時延低于20毫秒，我們就感覺不到了。我們測驗過一些2018年的產(chǎn)品，時延已經(jīng)達到了10毫秒左右。有人可能要說了，那既然已經(jīng)做到20毫秒以內(nèi)了，為什么我玩VR還會眩暈？那是因為導致VR眩暈的原因不止是時延，而是共有三個：時延、光學參數(shù)、內(nèi)容舒適度?，F(xiàn)在的技術(shù)已經(jīng)搞定了時延和光學參數(shù)的問題，但是在內(nèi)容規(guī)劃上帶來的眩暈感是無解的，VR游戲和體驗中的劇烈運動和快速移動依然可能會讓你眩暈。這完全取決于你對暈動癥的耐受程度，每個人都有所不一樣。這也是為什么全球最好的VR品牌Oculus在2014年搞定了時延和光學參數(shù)的問題之后，還對其內(nèi)容進行了舒適度評級，讓用戶根據(jù)自己的耐受度選擇適合自己的VR體驗。我們說回5G。再重復一遍，5G對于降低現(xiàn)有VR/AR產(chǎn)品的運動到成像時延沒有任何作用。假設(shè)非要在這個鏈路上加入5G，反而只會增加整個鏈路的時延。比如，如果將圖像引擎渲染這一步放在云端來做，也就是云游戲的做法，那么就會引入5G上下行帶來額外的時延。5G的理論時延是1毫秒，那么整體鏈路時延就會變成20毫秒 + 1毫秒 = 21毫秒。如果5G實際時延相比理論的1毫秒高出許多，比如10毫秒，那么整個鏈路的時延就是20毫秒 + 10毫秒 = 30毫秒。這就會超出了20毫秒的基準線，反而會給用戶帶來眩暈感。（本文中的網(wǎng)絡時延是指端到端的上行+下行網(wǎng)絡時延）5G低時延的特征對于VR/AR的作用并不是降低時延，而是通過云游戲的技術(shù)方案提升畫質(zhì)，并降低云游戲技術(shù)中的網(wǎng)絡時延。無論是VR一體機，還是連接手機的AR眼鏡，都是運行在移動端上，主要是高通驍龍系列。相比PC的處理器和GPU而言，移動端的3D圖形性能還是有數(shù)量級上的不一樣。VR/AR強調(diào)的是沉浸感，對于畫質(zhì)的要求很高，最極致的VR體驗需要強勁的高端PC來承載。下面是VR游戲《Robo Recall》在Oculus Quest（移動芯片）和Oculus Rift（PC端）上運行的畫面對比。我個人做了對比測驗，感官上的不一樣會比大家看圖片來得還要顯著。5G可以將3D圖形運算放到云端，也就是云游戲的技術(shù)路線。這樣就可以利用云端強勁的PC級處理器和GPU來進行3D圖形運算，再以視頻流的形式傳回本地的VR/AR設(shè)備上，讓移動芯片的VR/AR設(shè)備也能顯示出最頂級的畫質(zhì)。然而，云游戲的技術(shù)方案對于VR/AR來說，最大的挑戰(zhàn)在于網(wǎng)絡時延。如果采用了云游戲的技術(shù)方案，那么網(wǎng)絡時延就變成了運動到成像時延的一部分，網(wǎng)絡時延會增加整體的運動到成像時延。從現(xiàn)在的數(shù)據(jù)來看，網(wǎng)絡時延是整個鏈路中最長的部分，也是尚未搞定的部分?，F(xiàn)在基于家庭寬帶的情況，云游戲的時延約在150毫秒左右。比如，Google的云游戲服務Stadia，經(jīng)Digital Foundry初步測驗，時延在166毫秒。如果把這樣的技術(shù)方案搬到VR/AR上來，那一定會讓用戶暈到天昏地暗。這個時候5G低時延的價值就來了，如果5G真的能夠達到標準中的1毫秒時延，那么基于5G的VR/AR云游戲方案就能夠達到合格的用戶體驗。如果真能做到，這會是VR/AR成為消費市場主流產(chǎn)品的重要基礎(chǔ)設(shè)施。那么問題來了，5G實際上到底能做到多低的時延，什么時候能做到這樣低的時延。這才是關(guān)鍵。再次來總結(jié)一下。我們認為：1。連接5G網(wǎng)絡的方式，VR主要將會通過5G CPE，AR主要將會通過5G手機。2。 5G的大帶寬特點對于VR的價值是在線觀看5K以上辨別率的大碼率全景視頻，對于AR在現(xiàn)階段價值不大。3.5G的低時延特點并無法幫助現(xiàn)在的VR/AR產(chǎn)品降低“運動到成像時延”，它的價值是通過云游戲技術(shù)提升畫質(zhì)，同時幫助云游戲技術(shù)降低其“網(wǎng)絡時延”（“網(wǎng)絡時延”是“運動到成像時延”的組成部分），使得采用云游戲技術(shù)方案的VR/AR產(chǎn)品的“運動到成像時延”能夠達到20毫秒的及格線以內(nèi)。
Q:Markdown中如何設(shè)置標題？
A:對于標題，使用井號（#）。
Q:Markdown里列表項如何開始？
A:對于列表項，以破折號（-）開頭。
Q:怎樣在Markdown里強調(diào)文本？
A:要強調(diào)文本，用星號（*）包裹。
Q:Markdown中代碼或命令怎么表示？
A:對于代碼或命令，用反引號（`）包圍。
Q:在Markdown里引用文本怎么做？
A:對于引用文本，使用大于號（>）。
Q:Markdown里鏈接怎么書寫？
A:對于鏈接，將文本放在方括號 [] 中，然后在括號 () 中跟上URL。
Q:在Markdown里插入圖像的格式是怎樣的？
A:對于圖像，將替代文本放在方括號 [] 中，然后在括號 () 中跟上圖像URL。