來源：映維網(wǎng) 作者 黃顏
早前索尼為位于日本東京的銀座索尼公園帶來了一款基于《捉鬼敢死隊》的線下AR體驗，并在同一天發(fā)布了一段1分鐘宣傳視頻。日前，AR硬件/軟件企業(yè)Rave的首席科學(xué)家卡爾·古塔格（Karl Guttag）撰文分析了索尼的AR頭顯設(shè)備，下面是映維網(wǎng)的具體整理：
上周各大論壇都在好奇索尼在其AR頭顯中采用了何種技術(shù)。我（Karl Guttag）未能從海報或視頻中發(fā)現(xiàn)足夠的線索。我的突破來自于阿德里安·斯坦納德（Adrian Stannard），他表示自己曾在SID 2019大會看過這款設(shè)備。阿德里安曾擔(dān)任AR頭顯廠商Daqri的研發(fā)總監(jiān)和首席光學(xué)工程師。
需要注意的是，為了盡快發(fā)布本文，我沒有將其交給經(jīng)常幫助我審閱校對的羅恩·帕德贊斯基（Ron Padzensky）。如有錯漏，我提前道歉。
1. 識別技術(shù)
阿德里安只是在演示結(jié)束后只看了一眼索尼頭顯，并認為它看起來像是Lumus光學(xué)引擎，因為他看到了部分反射鏡/半透半反射鏡的條紋。從圖片來看，它看起來確實與Lumus的OE Vision 1080p光學(xué)引擎十分相像，請參考AWE 2019的Lenovo原型。
盡管看起來十分接近，但根據(jù)我手上的較低分辨率圖像，索尼光學(xué)元件的邊緣要比Lumus引擎更加方正。同樣奇怪的是，索尼視頻顯示他們采用的是LCD快門（下文詳述）。需要快門表明顯示屏亮度不足。但我知道Lumus引擎的亮度達到數(shù)千尼特，是目前最亮的光學(xué)引擎之一。
在阿德里安的指引下，我參考了位于2019 SID Display Week Digest of Papers的索尼論文（需要付費），并發(fā)現(xiàn)了一篇“Latency Compensation for Optical See-Through Head-Mounted with Scanned Display（包含掃描顯示器的光學(xué)透視頭戴設(shè)備的透射補償）” 。正如論文標題所示，它主要討論了AR頭顯的運動預(yù)測和預(yù)先補償。他們采用的顯示器是索尼的1280×768像素隔行掃描Micro-OLED。
除一張頭顯圖片外幾乎沒有關(guān)于光學(xué)元件的線索，但圖片的分辨率足夠高，可以清楚顯示出光學(xué)組合器，而這與視頻中的頭顯非常匹配。
2. 光學(xué)技術(shù)
在左邊，我放大了索尼的組合器，并對比了Lumus光學(xué)元件的圖片。你可以看到，不僅只是邊緣形狀不同，它們同時是非常不同的技術(shù)。
首先，Sony光學(xué)元件阻隔了大部分光線，而Lumus光學(xué)元件幾乎是透明。所以，你幾乎無法在Lumus波導(dǎo)中看到“條紋”。從這個角度看很難判斷，但索尼的光學(xué)元件似乎要比Lumus厚3至4倍。
對于Lumus波導(dǎo)，全內(nèi)反射使得光線在波導(dǎo)內(nèi)進行多次反射。上面提到的條紋名為光瞳擴展器，因為它們起到增加光瞳/視窗的作用。在Lumus結(jié)構(gòu)中，光線最終穿過上方的條紋并到達下方條紋。如果條紋遮擋的光線了與索尼光學(xué)系統(tǒng)一樣多，則幾乎沒有光線能夠到達下方的條紋。
索尼選擇了與Lumus不同的機制。它們不能仿效Lumus，Hololens，Magic Leap，Digilens和Waveoptics等采用大量全內(nèi)反射的波導(dǎo)。索尼的設(shè)計可能最多是在正面采用一個全內(nèi)反射，更像是自由形式光學(xué)元件。盡管索尼設(shè)計中的每個條紋都像Lumus一樣可作為光瞳擴展器，但每個條紋必須采取一條徑直路徑。為了提供更直的路徑，玻璃必須更厚。而且，較厚玻璃和條紋將有助于提高光通量。
3. 亮度問題
索尼頭顯中的Micro-OLED類型輸出1000尼特。即使是非常明亮（且昂貴）的OLED都只有5000尼特。與600尼特的智能手機或200尼特的電腦顯示屏相比，1000尼特至5000尼特聽起來像是十分明亮。但對于透明顯示器，AR組合器光學(xué)元件通常只能將不到10％的尼特傳送到眼睛。
對于DLP和LCOS投影儀，由于它們可以高度準直LED光線，其光輸出可以遠遠超過100萬尼特。高尼特是DLP和LCOS與波導(dǎo)結(jié)合的通常原因，但你從未見過OLED與波導(dǎo)光學(xué)一起搭配。Hololens 2所采用的激光掃描光束能夠在任何時候發(fā)出數(shù)百萬尼特（如果光束停止掃描并停留于一點，其足以燒穿視網(wǎng)膜）。
除其他損耗外，波導(dǎo)的尼特輸出至少受輸入?yún)^(qū)域的面積所影響。我們不探討復(fù)雜的數(shù)學(xué)計算和細節(jié)介紹，簡單來說，對于Lumus這樣的1.8毫米薄波導(dǎo)，Lumus幾乎可以比典型的衍射波導(dǎo)好10倍。所以，如果他們將1000尼特的Micro-OLED作為輸入，則輸出的亮度將大大低于10尼特。除夜間之外，這對其他用例而言都過暗。這就是為什么你看不到Mico-LED顯示器與常見波導(dǎo)配對，以及索尼采用不同結(jié)構(gòu)的原因。
4. 索尼LCD快門
即使用上了光學(xué)組合器，尼特損失都可能會大于10比1。因此，如果從大約1000尼特的Micro-OLED開始，眼睛都可能只看到大約100尼特或更少。這種光損耗正是nReal等公司在使用Micro-OLED時選擇了更為簡單的Birdbath結(jié)構(gòu)的原因。
在視頻大約24秒的位置，他們啟動了看似LCD快門的組件以阻擋大多數(shù)現(xiàn)實世界光線。我截取了快門啟動前后的圖片。
所以除了組合器元件阻擋了大部分光線之外，為了支持室外用例，他們增加了一個LCD快門來進一步阻擋周遭光線。
5. 幀緩沖后的延遲補償和光學(xué)校正：是否可以使用ARM的Mali-D77顯示處理單元呢？
索尼論文主要介紹了通過預(yù)先補償以應(yīng)對“動顯（motion to photon）延遲”。我?guī)缀跏鞘潞蟛畔氲竭@張幫助我確定組合器結(jié)構(gòu)的頭顯圖片。他們使用的Micro-OLED顯示器使問題變得更加復(fù)雜，因為其采用了120Hz隔行掃描視頻。如果不進行任何校正，除了其他延遲問題之外，當(dāng)出現(xiàn)運動時它們會在所有邊緣造成類似梳子的偽影。
論文指出，其硬件搭載了“將反向位移應(yīng)用于幀緩沖器的渲染圖像的畸變器）”，參見下圖。另外，畸變器可以執(zhí)行校正透鏡失真的操作。這里的關(guān)鍵是，在將幀圖像發(fā)送到顯示器之前他們對幀緩沖區(qū)中的渲染圖像進行了重要的處理。在幀緩沖區(qū)之后執(zhí)行的處理稱為“后端”處理。
基本思想是減少“動顯（motion to photon）延遲”。為了做到這一點，他們在渲染完成后和接近于看到像素前對任何用戶運動進行校正。另外，由于渲染的圖像在幀緩沖區(qū)之后發(fā)生更改，所以任何透鏡失真校正都必須在這一變換之后進行，因此也必須在幀緩沖區(qū)之后進行。
值得一提的是，在SID 2019大會，ARM發(fā)布了他們的Mali-D77“顯示處理單元”。ARM在新聞發(fā)布會中談到了一系列相同的“動顯（motion to photon）”問題。巧合的是，索尼設(shè)計采用了基于ARM的內(nèi)核及GPU和顯示控制組件。在撰寫本文時，我尚無法確認索尼的AR頭顯是否有搭載Mali-D77。
原文鏈接：https://yivian.com/news/67388.html
