來源：映維網(wǎng)  作者 夢(mèng)秋

對(duì)于增強(qiáng)現(xiàn)實(shí)應(yīng)用，虛擬對(duì)象應(yīng)該無縫地集成在視圖中，從而實(shí)現(xiàn)一種真實(shí)對(duì)象和虛擬對(duì)象無法區(qū)分的效果。對(duì)于這一點(diǎn)，照亮虛擬對(duì)象或以真實(shí)世界的相同照明條件照亮虛擬對(duì)象，以及允許虛擬對(duì)象改變照明非常重要。

但對(duì)于增強(qiáng)現(xiàn)實(shí)場景，光照條件通常是未知的和任意的，所以難以為真實(shí)和虛擬對(duì)象提供一致的照明。

在增強(qiáng)現(xiàn)實(shí)應(yīng)用程序中，為真實(shí)對(duì)象和虛擬對(duì)象提供一致照明的一種可能方法是估計(jì)真實(shí)環(huán)境光?，F(xiàn)有技術(shù)的常用方法需要額外的設(shè)置，如鏡子或特殊攝像頭（魚眼攝像頭）。這無疑限制了所述方法的適用性。另外，大多數(shù)常用的方法只能估計(jì)環(huán)境光的方向，不能估計(jì)任何光源的位置。

估算或捕獲環(huán)境光的一種方法是通過全方位攝影頭或通過捕獲鏡像球體的圖像?？梢愿鶕?jù)全景圖像直接測量環(huán)境光。但這種方法的一個(gè)問題是需要額外的設(shè)置，如魚眼攝像頭或鏡像球體，而且添加到場景中的額外對(duì)象會(huì)改變?cè)紙鼍?。另外，這種方法主要是測量環(huán)境光的方向。

估算環(huán)境光的另一種方法是基于真實(shí)環(huán)境的圖像和真實(shí)環(huán)境的已知模型：使用RGB-D攝像頭捕獲真實(shí)環(huán)境的深度圖像，然后重建真實(shí)環(huán)境的表面。根據(jù)RGB-D攝像頭的RGB數(shù)據(jù)和深度數(shù)據(jù)，可以利用表面信息估計(jì)環(huán)境光。

針對(duì)上述方法的種種利弊，蘋果希望能夠提供一種具有普適性的方法，特別是在具有未知照明條件的環(huán)境。

在日前一份名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請(qǐng)中，蘋果介紹了在真實(shí)環(huán)境視圖中表示虛擬對(duì)象的方法與系統(tǒng)。

專利主要描述了一種在真實(shí)環(huán)境視圖中表示虛擬對(duì)象的方法和系統(tǒng)，所述系統(tǒng)包括提供由攝像頭捕獲的人臉的第一圖像圖像信息，提供至少一個(gè)人臉特定特征，確定第一圖像中的面部圖像區(qū)域?yàn)槊娌繀^(qū)域，根據(jù)面部區(qū)域和至少一個(gè)人臉特定特征確定照射在面部的至少一個(gè)第一光線，并根據(jù)第一光線在顯示設(shè)備上將虛擬對(duì)象混合至真實(shí)環(huán)境視圖。所述方法同時(shí)包括提供多個(gè)面部樣本位置，為多個(gè)面部樣本位置中的每一個(gè)提供輻射傳遞函數(shù)，確定第一圖像中的面部樣本位置的圖像位置，以及根據(jù)關(guān)聯(lián)的強(qiáng)度信息確定第一光線。

根據(jù)一個(gè)實(shí)施例，至少一個(gè)人臉特定特征包括但不限于以下至少一個(gè)：通用3D面部模型、面部至少一部分的幾何結(jié)構(gòu)、面部至少一部分的材質(zhì)屬性、面部至少一部分的顏色、至少一部分的輻射轉(zhuǎn)移特性、至少一部分的反射特性。

根據(jù)一個(gè)實(shí)施例，確定至少一個(gè)第一光線包括確定所述至少一個(gè)第一光線的至少一個(gè)特征，其中所述至少一個(gè)第一光線的至少一個(gè)特征包括強(qiáng)度、波長和方向中的至少一個(gè)。

根據(jù)一個(gè)實(shí)施例，確定至少一個(gè)第一光線包括確定至少一個(gè)光源發(fā)射、反射或折射至少一個(gè)第一光線的至少一部分的至少一個(gè)特征。其中，所述至少一個(gè)光源的至少一個(gè)特征包括以下至少一個(gè)：類型、強(qiáng)度、波長、方向、距離、位置、尺寸、面積、形狀、球面諧波系數(shù)、小波基系數(shù)和von Mises-Fisher分布的混合物系數(shù)。

根據(jù)一個(gè)方面，通過確定的至少一第一光線，系統(tǒng)將虛擬對(duì)象疊加到由顯示設(shè)備呈現(xiàn)的真實(shí)環(huán)境視圖中。

根據(jù)另一方面，專利描述的處理系統(tǒng)包含在諸如智能手機(jī)或平面電腦這樣的移動(dòng)設(shè)備和/或適于與移動(dòng)設(shè)備通信的服務(wù)器計(jì)算機(jī)中。處理系統(tǒng)可以僅包括在所述設(shè)備中的一個(gè)，或者可以是一個(gè)通過網(wǎng)絡(luò)通信的分布式系統(tǒng)。

根據(jù)一個(gè)實(shí)施例，第一攝像頭與顯示組件相關(guān)聯(lián)，使得當(dāng)人臉面對(duì)顯示組件時(shí)，第一攝像頭捕捉到人臉的至少一部分。

根據(jù)一個(gè)實(shí)施例，系統(tǒng)包括移動(dòng)裝置，移動(dòng)裝置包括第一攝像頭和所述顯示組件，其中所述顯示組件的法線和第一攝像頭的光軸基本朝向相同的方向?；鞠嗤姆较蛞馕吨较蚪侵挥形⑿〉钠睿绮怀^5-10度。

簡單來說，蘋果提出的方法是利用iPhone或iPad的前置攝像頭來捕獲存用戶的面部，并相應(yīng)地估計(jì)環(huán)境光，然后確定的信息來提供針對(duì)虛擬對(duì)象的照明。

蘋果指出這種解決方案存在一系列的優(yōu)點(diǎn)：可用的用戶面部，所以不需要添加額外的幾何圖形，同時(shí)不需要繁瑣的設(shè)置；人臉在幾何和材質(zhì)上的變化范圍有限，所以允許基于有效的假設(shè)和限制進(jìn)行某種預(yù)處理和優(yōu)化算法，從而更快、更有效地運(yùn)行；只要用戶面對(duì)或看著AR視圖，亦即面對(duì)前置攝像頭，用戶的面部總是可用，所以可以支持動(dòng)態(tài)變化的照明。

相關(guān)專利：Method And System For Representing A Virtual Object In A View Of A Real Environment

名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請(qǐng)最初在2020年8月提交，并在日前由美國專利商標(biāo)局公布。

原文鏈接：https://yivian.com/news/80202.html