[發(fā)明專利]在光學(xué)透傳顯示器上的注意力方向

在審

• 申請?zhí)枺?/td>: 202010170587.6
• 申請日: 2020-03-12
• 公開（公告）號: CN111766939A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: A·格倫德赫費(fèi)爾;D·W·查默斯
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G06T15/40
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 張曦

本公開涉及在光學(xué)透傳顯示器上的注意力方向。在一個(gè)具體實(shí)施中，一種引導(dǎo)用戶注意力的方法由包括一個(gè)或多個(gè)處理器、非暫態(tài)存儲器、場景攝像機(jī)和光學(xué)透傳顯示器的設(shè)備執(zhí)行。該方法包括使用場景攝像機(jī)捕獲場景的圖像。該方法包括使用一個(gè)或多個(gè)處理器基于場景的圖像來確定一個(gè)或多個(gè)非注意力方向區(qū)域。該方法包括在光學(xué)透視顯示器上顯示包括位于一個(gè)或多個(gè)非注意力方向區(qū)域中的掩蔽圖案的掩蔽圖像。

技術(shù)領(lǐng)域

本公開整體涉及計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境，并且具體地涉及用于在計(jì)算機(jī)生成的現(xiàn)實(shí)環(huán)境中引導(dǎo)用戶注意力的系統(tǒng)、方法和設(shè)備。

背景技術(shù)

如本文所述，為了向用戶提供沉浸式媒體體驗(yàn)，計(jì)算設(shè)備呈現(xiàn)計(jì)算機(jī)生成的現(xiàn)實(shí)(CGR)，該CGR將計(jì)算機(jī)生成的媒體內(nèi)容(例如，包括圖像、視頻、音頻、嗅覺、觸覺等)與真實(shí)世界刺激以不同程度交織在一起——從完全合成體驗(yàn)到疊加在真實(shí)世界刺激上的幾乎無法察覺的計(jì)算機(jī)生成的媒體內(nèi)容。為此，根據(jù)本文所述的各種具體實(shí)施，CGR系統(tǒng)、方法和設(shè)備包括混合現(xiàn)實(shí)(MR)和虛擬現(xiàn)實(shí)(VR)系統(tǒng)、方法和設(shè)備。此外，MR系統(tǒng)、方法和設(shè)備包括增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)和合成現(xiàn)實(shí)(CR)系統(tǒng)，其中在AR系統(tǒng)中，計(jì)算機(jī)生成的內(nèi)容疊加(例如，經(jīng)由透明顯示器)在用戶的視野上，并且在CR系統(tǒng)中，計(jì)算機(jī)生成的內(nèi)容與真實(shí)世界環(huán)境的圖像合成或合并在一起。雖然本說明書僅為了清楚起見提供了AR、CR、MR和VR之間的描述，但本領(lǐng)域的普通技術(shù)人員將從本公開中認(rèn)識到，此類描述對于任何特定CGR系統(tǒng)、方法和/或設(shè)備的具體實(shí)施既不是絕對的也不是限制性的。因此，在各種具體實(shí)施中，CGR環(huán)境包括來自AR、CR、MR和VR的適當(dāng)組合的元件，以便產(chǎn)生任何數(shù)量的所需沉浸式媒體體驗(yàn)。

在各種具體實(shí)施中，用戶物理地或由化身(其可為虛擬的或真實(shí)的，例如，無人機(jī)或機(jī)器人化身)代表地存在于CGR環(huán)境中。在各種具體實(shí)施中，化身模擬用戶的一部分或全部物理運(yùn)動(dòng)。

基于VR的CGR環(huán)境可完全沉浸到使得用戶的特定感覺(例如，視覺和/或聽覺)的真實(shí)世界感官輸入完全被計(jì)算機(jī)生成的感官輸入所取代的程度。因此，用戶無法看到和/或聽到他/她的真實(shí)世界環(huán)境。除了計(jì)算機(jī)生成的圖像之外，基于VR的CGR環(huán)境還可利用(空間)音頻、觸覺等來增強(qiáng)體驗(yàn)的現(xiàn)實(shí)性。因此，在各種具體實(shí)施中，提供給用戶的特定感覺的真實(shí)世界信息限于深度、形狀、取向和/或布局信息；并且此類真實(shí)世界信息被間接傳遞給用戶。例如，真實(shí)世界房間的墻壁完全被數(shù)字內(nèi)容所遮蓋，使得用戶無法看到現(xiàn)實(shí)中存在的真實(shí)世界墻壁。

除了計(jì)算機(jī)生成的媒體內(nèi)容之外，基于混合現(xiàn)實(shí)(MR)的CGR環(huán)境還包括由用戶在基于增強(qiáng)現(xiàn)實(shí)(AR)的CGR環(huán)境的情況下直接接收的、或在基于合成現(xiàn)實(shí)(CR)的CGR環(huán)境的情況下間接接收的真實(shí)世界刺激。

基于增強(qiáng)現(xiàn)實(shí)(AR)的CGR環(huán)境包括真實(shí)世界光透傳，使得真實(shí)世界光進(jìn)入用戶的眼睛。例如，在AR系統(tǒng)中，用戶能夠通過透明表面看到真實(shí)世界，并且計(jì)算機(jī)生成的媒體內(nèi)容(例如，圖像和/或視頻)被可視化到該表面上。在特定具體實(shí)施中，媒體內(nèi)容被可視化到表面上以提供計(jì)算機(jī)生成的媒體內(nèi)容是真實(shí)世界的一部分和/或固定到真實(shí)世界的視覺印象。除此之外或另選地，計(jì)算機(jī)生成的圖像數(shù)據(jù)可直接投射到用戶的眼睛，使得真實(shí)世界光和計(jì)算機(jī)生成的媒體內(nèi)容的投射光同時(shí)到達(dá)用戶的視網(wǎng)膜。

基于合成現(xiàn)實(shí)(CR)的CGR環(huán)境包括從適當(dāng)?shù)膫鞲衅鳙@得真實(shí)世界刺激數(shù)據(jù)，以及將真實(shí)世界刺激數(shù)據(jù)與計(jì)算機(jī)生成的媒體內(nèi)容合成(例如，將刺激數(shù)據(jù)與計(jì)算機(jī)生成的內(nèi)容合并，將計(jì)算機(jī)生成的內(nèi)容疊加在刺激數(shù)據(jù)的部分上，或者在將真實(shí)世界刺激數(shù)據(jù)呈現(xiàn)給用戶之前以其他方式對其進(jìn)行變更)以生成合成數(shù)據(jù)。然后將合成數(shù)據(jù)提供給用戶，從而用戶間接地接收到真實(shí)世界刺激(如果有的話)。例如，對于基于CR的CGR環(huán)境的視覺部分，使用圖像傳感器獲得真實(shí)世界圖像數(shù)據(jù)，并且通過顯示器提供合成圖像數(shù)據(jù)。

在各種具體實(shí)施中，可能期望將用戶在CGR環(huán)境中的注意力引導(dǎo)至CGR環(huán)境的某一對象或區(qū)域上或遠(yuǎn)離CGR環(huán)境的某一對象或區(qū)域。在各種具體實(shí)施中，用戶的注意力是通過在CGR環(huán)境中的某些區(qū)域中顯示視覺遮蔽結(jié)構(gòu)(諸如噪聲)來引導(dǎo)的，在這些區(qū)域中用戶的注意力將不被引導(dǎo)。