[發(fā)明專利]用于指示屏幕外興趣點(diǎn)的圖形用戶界面

在審

• 申請?zhí)枺?/td>: 202010069301.5
• 申請日: 2020-01-21
• 公開（公告）號: CN111506280A
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計）人: D.莫蘭德;P.佩雷亞
• 申請（專利權(quán)）人: 施耐德電器工業(yè)公司
• 主分類號: G06F3/14
• 分類號: G06F3/14;G06F9/451;G06F3/01
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 鄧亞楠

本發(fā)明涉及一種在設(shè)備上顯示增強(qiáng)現(xiàn)實(shí)AR圖形用戶界面GUI的方法。該方法包括基于相機(jī)獲取的視覺數(shù)據(jù)和與PoI的位置相關(guān)的信息檢測(402)位于屏幕外的PoI。然后，對于每個檢測到的屏幕外PoI，確定(403)以PoI為中心的預(yù)定形狀的區(qū)帶，該區(qū)帶至少部分位于屏幕上。確定與各個區(qū)帶的邊緣的交叉點(diǎn)相對應(yīng)的屏幕上頂點(diǎn)，并基于屏幕上頂點(diǎn)確定(405，406，407)連續(xù)曲線。通過疊加視覺數(shù)據(jù)和連續(xù)曲線來顯示GUI，其中在視覺數(shù)據(jù)的獲取期間實(shí)時地執(zhí)行操作。

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互的增強(qiáng)，特別是但不限于，涉及在使用提供增強(qiáng)現(xiàn)實(shí)的手持設(shè)備檢測興趣點(diǎn)(PoI)的背景中的人機(jī)交互的增強(qiáng)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(AR)在于真實(shí)世界環(huán)境的交互體驗(yàn)，其中，存在于真實(shí)世界中的對象(諸如興趣點(diǎn)(PoI))被計算機(jī)生成的感知信息增強(qiáng)，有時跨越多種感覺形態(tài)，包括視覺、聽覺、觸覺、體覺和嗅覺。接下來，考慮使用視覺信息的增強(qiáng)現(xiàn)實(shí)的背景。

在操作者將工業(yè)機(jī)器與增強(qiáng)現(xiàn)實(shí)設(shè)備相結(jié)合的工業(yè)背景中，例如為了維護(hù)，用戶繞著機(jī)器行走，站在不同的距離和不同的角度，并尋找關(guān)于PoI的線索。這要求用戶能夠容易地檢測到PoI并且被動態(tài)地引導(dǎo)到PoI。

這不僅產(chǎn)生了如何顯示關(guān)于PoI的位置信息的問題，還產(chǎn)生了如何調(diào)整設(shè)備的圖形用戶界面(GUI)以反映由于用戶所處理的設(shè)備與要為其顯示PoI的機(jī)器的交互而引起的變化的問題。

手持設(shè)備的屏幕尺寸有限，并且優(yōu)選以相對較大的比例(例如放大)顯示信息，以便用戶可讀。然而，屏幕的顯示區(qū)域可能太小而無法顯示完整的興趣區(qū)域，并且一些興趣點(diǎn)可能位于顯示區(qū)域之外。

如圖1a所示，根據(jù)現(xiàn)有技術(shù)的第一種解決方案提出顯示分別以屏幕外PoI為中心的圓在屏幕上的部分。

若干PoI 100.1至100.4位于屏幕外。這意味著PoI在設(shè)備101的相機(jī)的視野之外。

該設(shè)備還包括屏幕102，在屏幕102上顯示第一GUI 103。如圖1a所示，GUI 103使用分別以各個PoI 100.1-100.4為中心的圓在屏幕上的部分來表示屏幕外PoI 100.1-100.4。然而，對于高密度的PoI，圓的部分是重疊的，使得用戶難以理解關(guān)于屏幕外PoI的信息。然后，用戶需要對PoI位于何處做出假設(shè)，這將檢測變成漫長、惱人和麻煩的體驗(yàn)。

如圖1b所示，根據(jù)現(xiàn)有技術(shù)的第二種解決方案類似于第一種解決方案，但是替代地顯示了包括圓的三角形部分的GUI 104。雖然這確實(shí)減少了重疊，但并沒有完全消除重疊。特別是，在PoI的密度高的情況下，重疊仍然可能發(fā)生，因此并非在每種情況下都消除了與第一種解決方案相同的缺點(diǎn)。

圖1c示出了根據(jù)現(xiàn)有技術(shù)的第三種解決方案。在屏幕邊緣上顯示包括表示屏幕外區(qū)域的區(qū)帶(zone)的GUI 105。屏幕外PoI被表示為區(qū)帶中的各個點(diǎn)106.1-106.4。然而，在高密度的情況下，該區(qū)帶可能點(diǎn)太多，使用戶難以理解屏幕外信息。因此，沒有克服前兩種解決方案的缺點(diǎn)。

因此，前三種現(xiàn)有技術(shù)解決方案依賴于沒有PoI聚集的屏幕外可視化系統(tǒng)。

進(jìn)一步的解決方案提出聚集屏幕外PoI。

例如，根據(jù)現(xiàn)有技術(shù)的第四種解決方案提出了在具有PoI聚集的情況下在設(shè)備屏幕上的屏幕外可視化。參考圖1d說明了第四種解決方案。

根據(jù)第四種解決方案，屏幕外的真實(shí)空間被劃分為單元，并且位于相同單元中的PoI被聚集。

例如，第一單元111.1包括屏幕外PoI 110.1-110.4，第二單元111.2包括屏幕外PoI 110.5和110.6，并且第三單元111.3包括PoI 110.7、110.8和110.9。