來(lái)源：映維網(wǎng) 作者 廣東客
蘋(píng)果正在開(kāi)發(fā)一種可以根據(jù)平面視頻內(nèi)容生成混合現(xiàn)實(shí)或虛擬現(xiàn)實(shí)環(huán)境的技術(shù)。
美國(guó)專(zhuān)利商標(biāo)局日前公布了一份名為“Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content（根據(jù)平面視頻內(nèi)容生成合成現(xiàn)實(shí)重構(gòu)的方法和設(shè)備）”的蘋(píng)果專(zhuān)利申請(qǐng)。作為說(shuō)明，蘋(píng)果一般在專(zhuān)利中將XR稱(chēng)為計(jì)算機(jī)生成現(xiàn)實(shí)（Computer-Generated Reality；CGR）或合成現(xiàn)實(shí)（Synthetic Reality；SR）。CGR和SR包含虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)。
根據(jù)專(zhuān)利的技術(shù)，用戶可以通過(guò)iPad或iPhone等手持式設(shè)備體驗(yàn)SR體驗(yàn)。但發(fā)明主要描述了如何通過(guò)平面視頻內(nèi)容生成SR角色、對(duì)象和環(huán)境。換句話說(shuō)，這種技術(shù)應(yīng)該可以把電視節(jié)目變成一個(gè)用戶可以身臨其境地進(jìn)行探索的沉浸式現(xiàn)實(shí)環(huán)境。
蘋(píng)果在專(zhuān)利中寫(xiě)道：“用戶可能希望體驗(yàn)諸如電視劇或電影等視頻內(nèi)容，以一種他/她與角色同在一個(gè)場(chǎng)景中一樣。換言之，用戶希望將視頻內(nèi)容變成SR體驗(yàn)，而不是簡(jiǎn)單地通過(guò)電視或其他顯示設(shè)備瀏覽。”
文件指出，大多數(shù)SR內(nèi)容都是提前“精心創(chuàng)建”，并添加到用戶可以選擇的庫(kù)中。但發(fā)明描述了一種通過(guò)“利用數(shù)字資產(chǎn)”來(lái)“無(wú)縫地、快速地”將平面內(nèi)容導(dǎo)入SR體驗(yàn)，從而生成基于視頻的按需型SR內(nèi)容重建方法。
具體來(lái)說(shuō)，系統(tǒng)通過(guò)識(shí)別場(chǎng)景中的“情節(jié)執(zhí)行者”，合成場(chǎng)景描述，并“根據(jù)場(chǎng)景的場(chǎng)景描述驅(qū)動(dòng)與第一情節(jié)執(zhí)行者相關(guān)聯(lián)的第一數(shù)字資產(chǎn)”來(lái)生成場(chǎng)景的重建”。
“情節(jié)執(zhí)行者”定義為內(nèi)容中的角色或演員。
系統(tǒng)可以根據(jù)視頻內(nèi)容生成SR重建，同時(shí)可以從相關(guān)文本內(nèi)容和外部數(shù)據(jù)中提取信息。這可以是視頻片段中演員的照片，演員的身高和尺寸，場(chǎng)景的各種視圖，以及其他數(shù)據(jù)。
“在一個(gè)實(shí)現(xiàn)中，數(shù)字資產(chǎn)至少部分地根據(jù)視頻內(nèi)容和與視頻內(nèi)容相關(guān)聯(lián)的外部數(shù)據(jù)動(dòng)態(tài)生成。在一個(gè)實(shí)現(xiàn)中，與視頻內(nèi)容相關(guān)聯(lián)的外部數(shù)據(jù)對(duì)應(yīng)于演員的圖片、演員的高度和其他測(cè)量、集合和對(duì)象的各種視圖（如平面、側(cè)面、透視圖等）和/或諸如此類(lèi)的視圖。”
另外，一個(gè)類(lèi)似的SR生成系統(tǒng)可以根據(jù)音頻和相關(guān)內(nèi)容創(chuàng)建交互式場(chǎng)景，包括有聲讀物、廣播劇和其他純音頻內(nèi)容。
專(zhuān)利同時(shí)說(shuō)明了可執(zhí)行對(duì)象（角色與之交互的對(duì)象）和不可執(zhí)行對(duì)象之間的區(qū)別，而這種區(qū)別可允許SR系統(tǒng)提前知道場(chǎng)景中需要交互的對(duì)象類(lèi)型。
相關(guān)專(zhuān)利：Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content
名為“Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content（根據(jù)平面視頻內(nèi)容生成合成現(xiàn)實(shí)重構(gòu)的方法和設(shè)備）”的蘋(píng)果專(zhuān)利申請(qǐng)最初在2019年1月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。需要注意的是，這只是一份專(zhuān)利申請(qǐng)，尚不確定蘋(píng)果是否會(huì)或?qū)⒂诤螘r(shí)商業(yè)化所述的發(fā)明技術(shù)。
