如果AR確實(shí)是下一個平臺，AR系統(tǒng)就必須足夠舒適，可以支持長時間佩戴，甚至是全天候佩戴，就像一副普通的眼鏡那樣。否則普羅大眾只會繼續(xù)將智能手機(jī)放在口袋里。如果AR確實(shí)能變成日常醫(yī)學(xué)眼鏡的樣式，普羅大眾就會將其用于顯示2D內(nèi)容（消息和提醒）和3D地理定位內(nèi)容。在所有這些情況下，用戶希望同時擁有真實(shí)世界和虛擬世界的舒適視圖。
我們必須克服一系列的設(shè)計(jì)和計(jì)算挑戰(zhàn)，從而令這種眼鏡式的AR系統(tǒng)成為現(xiàn)實(shí)：低延遲追蹤和渲染，低功耗，寬視場，緊湊的形狀參數(shù)。來自北卡羅來納大學(xué)教堂山分校（ Praneeth Chakravarthula ，David Dunn， Henry Fuchs ）和英偉達(dá)研究院（ Kaan Ak?it ）的研究團(tuán)隊(duì)重點(diǎn)探討了AR系統(tǒng)的一個未得到充分研究的重要方面：真實(shí)與增強(qiáng)影像的焦點(diǎn)調(diào)節(jié)。
相關(guān)論文： FocusAR: Auto-focus Augmented Reality Eyeglasses for both Real World and Virtual Imagery
該研究團(tuán)隊(duì)描述的系統(tǒng)FocusAR能夠動態(tài)地校正近眼顯示器的現(xiàn)實(shí)世界焦點(diǎn)，以及數(shù)字合成影像的內(nèi)部顯示，而其目的是完全替換用戶的醫(yī)學(xué)眼鏡。調(diào)整真實(shí)與虛擬刺激信號焦點(diǎn)的能力對于各種各樣的用戶而言都十分有用，尤其是視覺調(diào)節(jié)范圍有限的40歲以上用戶。團(tuán)隊(duì)提出的解決方案采用可調(diào)焦透鏡進(jìn)行動態(tài)地視覺校正，以及利用一個變焦顯示器來在適當(dāng)?shù)目臻g配準(zhǔn)深度設(shè)置虛擬影像，同時演示了一個概念驗(yàn)證原型，并討論構(gòu)建自動對焦增強(qiáng)現(xiàn)實(shí)眼鏡的挑戰(zhàn)。
1. 普通眼鏡規(guī)格AR面臨的挑戰(zhàn)
眼睛為固定在空間中同一點(diǎn)上而進(jìn)行會聚的距離名為輻輳距離，而眼睛為將這一點(diǎn)的影像帶到空間中銳利焦點(diǎn)而進(jìn)行調(diào)節(jié)的距離則稱為焦點(diǎn)或調(diào)節(jié)距離。輻輳和調(diào)節(jié)屬于神經(jīng)耦合，例如當(dāng)輻輳角改變時，眼睛將調(diào)整調(diào)節(jié)深度，從而把場景帶到焦點(diǎn)中。對于VR，輻輳和調(diào)節(jié)之間的正確匹配非常重要。如果不匹配，輻輳距離和調(diào)節(jié)深度就會產(chǎn)生沖突，亦即所謂的視覺輻輳調(diào)節(jié)沖突（vergence-accommodation conflict；VAC），從而引起用戶視覺疲勞和不適。
與VR相比，輻輳距離與調(diào)節(jié)深度的正確匹配對AR甚至更為重要，因?yàn)槌薞R的要求之外，在AR中真實(shí)世界需要緊密匹配虛擬世界。如果虛擬影像與相應(yīng)的真實(shí)對象不是位于相同的焦點(diǎn)深度，模糊不一致將迫使用戶改變焦點(diǎn)，并注視于本應(yīng)完全清晰對象上（見下圖）。
圖：由于所有虛擬對象都位于一個固定的深度平面，現(xiàn)有的傳統(tǒng)AR顯示器常常出現(xiàn)虛擬與現(xiàn)實(shí)世界焦點(diǎn)線索不匹配的情況。（左邊）由于虛擬影像位置比教科書更深的平面上，因此書本出現(xiàn)在焦點(diǎn)上，而且書籍上的虛擬標(biāo)簽失焦；（右邊）當(dāng)焦點(diǎn)位于教科書時，書本上的虛擬標(biāo)簽變得清晰，但教科書失焦。
對于在日常生活中需要校正鏡片的用戶（“近視”和“遠(yuǎn)視”），情況則更為復(fù)雜，因?yàn)榧词共皇茿R和VR，他們也必須處理VAC。比如說一位“近視”用戶，他可以舒適地根據(jù)0.5米遠(yuǎn)的情景進(jìn)行視覺輻輳和調(diào)節(jié)，但卻需要校正鏡片才能清晰地聚焦10米處的對象。當(dāng)他第一次使用矯正性“距離”鏡片時，10米處的對象將出現(xiàn)在焦點(diǎn)上（因?yàn)閷τ谒难劬Χ裕?0米的對象正位于0.5米處），但他在0.5米處會輻輳，從而產(chǎn)生“雙重視覺”。經(jīng)過數(shù)小時，數(shù)天甚至幾周的佩戴后，他的視覺系統(tǒng)逐漸適應(yīng)10米的輻輳，并同時仍然可以在0.5米遠(yuǎn)進(jìn)行調(diào)節(jié)。有些用戶永遠(yuǎn)無法適應(yīng)如此大的VAC。經(jīng)過幾代人的努力，配鏡師研究了大部分用戶都可以適應(yīng)和接受的VAC范圍。
在穿戴頭顯時，需要視覺校正的用戶仍需佩戴校正鏡片。有的AR頭顯在用戶眼睛和顯示器之間為醫(yī)學(xué)鏡片留下了一定的物理空間。對于老花眼人群而言（40歲以上），這并不能解決問題，因?yàn)橛脩舻慕咕喾秶芟抻阽R片的聚焦范圍。雙焦，三焦或漸進(jìn)鏡片僅僅在一個垂直角度聚焦特定距離，迫使用戶向上或向下傾斜頭部以聚焦于特定距離的真實(shí)對象。至少自本杰明·富蘭克林以來，發(fā)明者就一直在嘗試解決聚焦所有距離的對象，但即使是最新的產(chǎn)品也要求用戶轉(zhuǎn)動透鏡上的聚焦旋鈕以調(diào)整焦平面深度，而這對大多數(shù)用戶來說是一個無法接受的尷尬要求。
圖左邊：老花眼用戶通過一臺傳統(tǒng)AR頭顯所感知到的真實(shí)與虛擬視圖，視覺調(diào)節(jié)深度固定在7米。虛擬兔子位于中間（1米遠(yuǎn)），郵票（0.25米），教科書（1米）和自行車（5米）分別在近，中，遠(yuǎn)位置。請注意，真實(shí)影像和虛擬影像對用戶來說都是模糊的，因?yàn)闆]有任何對象出現(xiàn)在老花眼用戶的調(diào)節(jié)平面中；圖中間：調(diào)節(jié)距離幾乎為零的老花眼用戶正在透過自動對焦AR眼鏡進(jìn)行觀察。原型AR眼鏡能夠根據(jù)用戶當(dāng)前的眼睛調(diào)節(jié)狀態(tài)來單獨(dú)為用戶焦點(diǎn)調(diào)整顯示器上的真實(shí)世界和虛擬影像，從而在所有深度位置提供真實(shí)對象和虛擬對象的正確對焦影像；圖右邊：由于能夠?qū)φ鎸?shí)和虛擬進(jìn)行單獨(dú)的焦點(diǎn)調(diào)整，用戶通過自動對焦AR眼鏡能夠看到正確對焦的真實(shí)與虛擬視圖。請注意位于中間位置（1米），教科書文本和虛擬兔子都是精確對焦。
今天和未來的AR顯示器提供了一個機(jī)會，亦即利用AR顯示器上已有的功能來改善視覺輻輳調(diào)節(jié)沖突：強(qiáng)大的處理器，以及用于追蹤和基于雙手用戶交互的深度感知功能（如 微軟Hololens和Meta）。如果增加了快速，精確和強(qiáng)大的雙目 眼動追蹤 系統(tǒng)，頭顯就可以測量用戶在真實(shí)世界和虛擬世界中的注視對象。接下來，系統(tǒng)可以將自適應(yīng)焦點(diǎn)添加到現(xiàn)實(shí)世界（外部）視圖中，并與虛擬世界（內(nèi)部）視圖的自適應(yīng)焦點(diǎn)分開，從而正確對焦真實(shí)與虛擬影像。這樣的顯示器同時可以應(yīng)用于自動對焦的醫(yī)學(xué)眼鏡（不提供虛擬內(nèi)容）。
2. FocusAR的意義和成果
但要構(gòu)建一個能夠?yàn)檎鎸?shí)與虛擬，近距離和遠(yuǎn)距離提供正確對焦影像的AR顯示屏，該團(tuán)隊(duì)認(rèn)為需要克服兩大挑戰(zhàn)：第一是，設(shè)計(jì)一個可以動態(tài)調(diào)整內(nèi)部顯示器和外部真實(shí)世界場景的焦點(diǎn)的顯示器，在本次研究中他們選擇了用于外部場景的可調(diào)焦透鏡，以及用于內(nèi)部顯示器的變焦光束組合器；第二是，強(qiáng)大的眼動追蹤。
研究團(tuán)隊(duì)說，目前市場上不存在主動校正用戶感知真實(shí)世界時視覺缺點(diǎn)的顯示器設(shè)計(jì)，還沒有人解決了同時為真實(shí)場景和虛擬場景提供正確焦點(diǎn)線索的挑戰(zhàn)，所以才有了他們的FocusAR研究項(xiàng)目，并得出了以下成果：
提出了一個用于分析由AR顯示器引起的視網(wǎng)膜模糊的框架，包括失焦的真實(shí)與虛擬對象。利用它來理解和表征能夠提供正確對焦真實(shí)與虛擬影像的AR顯示器的要求。
提出設(shè)計(jì)和制造了一個自動對焦AR眼鏡原型（利用內(nèi)部的定制3D打印組件，以及現(xiàn)成的消費(fèi)電子產(chǎn)品），并實(shí)時驅(qū)動顯示器。
實(shí)驗(yàn)證明，通過可獨(dú)立調(diào)節(jié)的焦點(diǎn)（無論是現(xiàn)實(shí)世界還是虛擬內(nèi)容），對于眼睛中具有較低階像差的用戶以及具有正常視力的用戶而言，所有深度的圖像感知質(zhì)量都得到改善。（當(dāng)前版本的原型沒有校正散光）
3. FocusAR顯示器設(shè)計(jì)
從下表可以看到，AR顯示器如果要同時支持真實(shí)和虛擬的焦點(diǎn)線索，我們需要對虛擬影像深度和真實(shí)世界視覺校正進(jìn)行單獨(dú)的調(diào)整。
盡管正常視力的用戶不需要任何視覺校正，但眼睛中具有任何屈光不正的用戶都需要外部焦點(diǎn)調(diào)整，從而對真實(shí)世界對象進(jìn)行正確對焦。但是，近視和遠(yuǎn)視用戶僅需要靜態(tài)焦點(diǎn)校正，而老花眼用戶則需要根據(jù)感興趣對象的深度進(jìn)行動態(tài)視覺校正。因此，為了動態(tài)調(diào)整外部校正透鏡，我們需要可在一定焦距范圍內(nèi)運(yùn)作的可調(diào)焦透鏡。借助強(qiáng)大的雙目眼動注視點(diǎn)追蹤系統(tǒng)，頭顯上的多個外置攝像頭，以及用戶眼睛屈光不正程度的先驗(yàn)知識，我們可以確定感興趣對象的深度，并調(diào)整外部校正透鏡的焦點(diǎn)，從而幫助用戶正確聚焦現(xiàn)實(shí)世界的目標(biāo)。像微軟Hololens這樣的商用AR頭顯已經(jīng)采用了外置攝像頭和追蹤器來分析空間環(huán)境，而未來的AR和VR頭顯預(yù)計(jì)將集成眼動追蹤器，所以該團(tuán)隊(duì)的研究主要集中在光學(xué)校正系統(tǒng)上。
內(nèi)部顯示器應(yīng)該能夠在不同深度渲染對象，同時在空間上將它們配準(zhǔn)到現(xiàn)實(shí)世界，靜態(tài)或動態(tài)地提供深度線索。這樣的內(nèi)部顯示器可以是以下兩種類型之一： 光場與全息顯示器 ，通過近似來自空間中給定點(diǎn)的波前來靜態(tài)地提供所有深度線索； 變焦顯示器 ，在任何給定的瞬間聚焦一個特定的深度平面，從而動態(tài)地提供深度線索。靜態(tài)地提供深度線索能夠確保正確的視網(wǎng)膜模糊；動態(tài)地提供深度線索則需要通過適量的視網(wǎng)膜模糊來渲染遠(yuǎn)離焦深平面的對象。
FocusAR系統(tǒng)與選用組件的概述。左邊是外部視覺校正系統(tǒng)，右邊是內(nèi)部的增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)。
內(nèi)部顯示器類型更多的是一種設(shè)計(jì)選擇，而渲染取決于所使用的內(nèi)部顯示技術(shù)。對于變焦顯示器，可以使用傳統(tǒng)的渲染管道，只需稍加修改即可支持計(jì)算模糊和失真校正。光場和全息顯示管道則更為復(fù)雜，涉及多視口積分成像（multi-viewport integral imaging），以及包含菲涅爾集成的點(diǎn)配準(zhǔn)方法。
總而言之，具備視覺校正和動態(tài)聚焦功能的AR眼鏡有兩個任務(wù)，并需要集成至同一個系統(tǒng)中：第一，主動校正外部焦點(diǎn)，以支持現(xiàn)實(shí)世界感知；第二，主動校正內(nèi)部顯示器的焦點(diǎn)，并使用適當(dāng)?shù)挠?jì)算模糊渲染虛擬影像。
4. FocusAR原型
研究團(tuán)隊(duì)提出了一個硬件原型，其包括針對現(xiàn)實(shí)世界對象的 視覺校正 ，面向虛擬對象的 變焦焦點(diǎn)顯示器 ，以及用于設(shè)置每位用戶校準(zhǔn)和控制每個子系統(tǒng)的硬件和軟件。
為了校正外部真實(shí)世界影像，團(tuán)隊(duì)開發(fā)了一種采用可調(diào)透鏡的 視覺校正模塊 ，其能夠在任何深度形成清晰的圖像，適用于近視，遠(yuǎn)視和老花眼用戶。
視覺校正模塊離用戶眼睛14毫米遠(yuǎn)，能夠?qū)崿F(xiàn)單眼37度視場。如此放置最大化了可用的視場，并令內(nèi)部顯示器能夠渲染與外部真實(shí)世界深度相匹配的虛擬影像，因?yàn)橐曈X校正模塊同時校正了真實(shí)與虛擬影像的焦點(diǎn)，從整體上簡化了系統(tǒng)。
與Dunn等人提出的變焦顯示器相比，該團(tuán)隊(duì)面向增強(qiáng)影像的內(nèi)部 變焦顯示器 是一個更為精細(xì)的系統(tǒng)。它主要是依賴一種能夠動態(tài)調(diào)整半反射膜的光學(xué)功率以調(diào)整虛擬影像的光學(xué)深度，從而匹配用戶注視點(diǎn)的技術(shù)。
原型硬件與測試配置。左邊，顯示器原型與相機(jī)的配置，模擬正常視力用戶和老花眼用戶；右邊，我們可以看到顯示器原型包含用于外部世界焦點(diǎn)調(diào)整的視覺校正模塊，以及用于驅(qū)動顯示器焦點(diǎn)的可變形分束器膜。
為了測試原型，團(tuán)隊(duì)將帶有EF 24-70 1：2.8 L USM鏡頭的佳能Rebel T6i相機(jī)放在視覺校正模塊后面，使其透過顯示器感知世界，模仿人眼。相機(jī)鏡頭和視力校正模塊之間的距離保持約22毫米，略高于眼睛和眼鏡之間的典型距離。由于相機(jī)距離稍大，所捕捉圖像中的視場比用戶體驗(yàn)更差。相機(jī)的光圈設(shè)置為F2.8，而相機(jī)設(shè)置如上圖所示。通過在0.25米處放置郵票，1米處放置教科書，以及5米處放置自行車來創(chuàng)建真實(shí)世界場景。斯坦福兔子的多邊形模型用于虛擬影像，并通過OpenGL在顯示器上渲染。模擬了兩種不同類型的用戶：正常視力和遠(yuǎn)視用戶。
5. 實(shí)驗(yàn)結(jié)果
為了模擬視力正常且沒有調(diào)節(jié)損失的用戶，該團(tuán)隊(duì)在視覺校正模塊關(guān)閉的同時不斷調(diào)整相機(jī)焦距以聚焦各個深度。模擬了兩種不同的場景：1，佩戴傳統(tǒng)頭顯的用戶，虛擬影像深度固定在1米（即教科書位置）；2，佩戴變焦顯示器的用戶，設(shè)備能動態(tài)調(diào)整虛擬影像深度以匹配真實(shí)世界目標(biāo)。
模擬正常視力的用戶，同時對比了傳統(tǒng)顯示器和變焦顯示器。
結(jié)果如上圖。在傳統(tǒng)頭顯設(shè)置中，當(dāng)用戶的焦點(diǎn)靠近郵票時，虛擬影像明顯模糊，因?yàn)樘摂M影像深度與真實(shí)世界深度不匹配。但由于虛擬影像深度設(shè)置為教科書的深度，因此可以看到兔子和教科書都十分清晰。這表明傳統(tǒng)的AR頭顯不足以提供增強(qiáng)內(nèi)容的舒適瀏覽體驗(yàn)。在另一方面，當(dāng)顯示器切換為變焦模式時，虛擬兔子可以設(shè)置在近，中，遠(yuǎn)的位置，匹配真實(shí)世界目標(biāo)的深度。請注意，兔子與真實(shí)世界在所有深度上都總是清晰可見。近，中和遠(yuǎn)位置的兔子進(jìn)行了適當(dāng)?shù)目s放以包括透視深度。
為了模擬老花眼用戶，測試是將相機(jī)焦距固定在7米遠(yuǎn)，從而模擬調(diào)節(jié)幾乎為零的老化眼鏡。虛擬兔子在近，中，遠(yuǎn)處進(jìn)行了適當(dāng)?shù)目s放。這個實(shí)驗(yàn)?zāi)M了四個不同的情景：1，傳統(tǒng)的AR頭顯，外部視圖沒有視覺校正，內(nèi)部顯示器沒有動態(tài)調(diào)焦，虛擬顯示器的焦點(diǎn)設(shè)置為中等距離（即1米）；2，變焦AR頭顯，其中視覺校正模塊處于非活動狀態(tài)，但虛擬影像深度可以進(jìn)行動態(tài)調(diào)整；3，調(diào)整顯示器的靜態(tài)焦點(diǎn)，調(diào)整虛擬影像的深度以匹配老花眼用戶的調(diào)節(jié)（在這種情況下為7米），但外部的視覺校正模塊處于非活動狀態(tài)；4，自動對焦AR眼鏡模式，內(nèi)部顯示器和外部真實(shí)世界視圖的焦點(diǎn)都可以進(jìn)行單獨(dú)的動態(tài)調(diào)整。
模擬老花眼用戶看到的真實(shí)與虛擬影像，相機(jī)焦距固定在7米。
結(jié)果如上圖。對于傳統(tǒng)的AR頭顯模式的顯示器，現(xiàn)實(shí)對象和虛擬對象都會出現(xiàn)預(yù)期的模糊，因?yàn)樘摂M圖像深度設(shè)置在1米遠(yuǎn)，而用戶焦點(diǎn)設(shè)置在7米遠(yuǎn)，超出真實(shí)與虛擬目標(biāo)的距離。當(dāng)顯示器切換為變焦模式時，感知圖像不會改善，這與之前正常視力用戶的實(shí)驗(yàn)情況有所不同。原因是盡管虛擬圖像深度在空間上對齊現(xiàn)實(shí)世界對象的深度，但用戶的調(diào)節(jié)與對象的深度不匹配。與視力正常的用戶不同，老花眼的調(diào)節(jié)范圍幾乎為零。但如果在用戶的調(diào)節(jié)深度中將顯示器的焦點(diǎn)調(diào)整為靜態(tài)時，虛擬影像將變得清晰可見。不過，現(xiàn)實(shí)世界的對象看起來仍然像是失焦。
為此，F(xiàn)ocusAR的解決方案是，當(dāng)啟動顯示器的視覺校正模塊時，系統(tǒng)也將調(diào)整外部的矯正性透鏡，從而令用戶的調(diào)節(jié)深度與現(xiàn)實(shí)世界目標(biāo)的對象深度相匹配，并同時調(diào)整顯示器的焦點(diǎn)以匹配現(xiàn)實(shí)世界對象的深度。因此可以看出，近，中，遠(yuǎn)距離的所有真實(shí)與虛擬對象都清晰可見。
但視場仍是FocusAR目前避免不了的限制。盡管用于瀏覽虛擬圖像的顯示器在水平與垂直方向上提供大約75度的視場，但可調(diào)焦透鏡的10mm孔徑尺寸將整體視場限制為37度。然而，研究團(tuán)隊(duì)指出，最近針對大孔徑可調(diào)焦透鏡的研究表明有望在不久的將來增加視場。
6. 結(jié)論
由于硬件限制，當(dāng)前的FocusAR原型沒有整合眼動追蹤（使用眼動追蹤器要求用戶遠(yuǎn)離視覺校正模塊，而這減少了可用的視場）。但FocusAR的這一早期原型已經(jīng)演示自動對焦AR眼鏡的概念證明設(shè)計(jì)，演示了為存在/不存在任何屈光不正的用戶顯示真實(shí)與虛擬內(nèi)容的初步能力。
我們已經(jīng)知道 Oculus 在VR原型頭顯Half Dome中采用了類似的技術(shù)。正如該團(tuán)隊(duì)所說，映維網(wǎng)也相信未來的AR顯示器有望采用動態(tài)視覺校正和變焦顯示器，并在任何距離下為所有用戶實(shí)現(xiàn)20/20的視力（包括真實(shí)與虛擬影像）。
文章來源：映維網(wǎng)
