[發(fā)明專利]采用用戶界面設備的表示來訓練神經網絡

在審

• 申請?zhí)枺?/td>: 201880047400.4
• 申請日: 2018-05-31
• 公開（公告）號: CN110914790A
• 公開（公告）日: 2020-03-24
• 發(fā)明（設計）人: A·克勒;G·布拉德斯基;V·巴德里娜拉亞楠
• 申請（專利權）人: 奇躍公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 魏子翔;楊曉光

1.一種可穿戴顯示系統(tǒng)，包括：

圖像捕獲設備，其被配置為捕獲包括指針的圖像；

非暫態(tài)計算機可讀存儲介質，其被配置為存儲：

所述圖像，

與在所述圖像上的圖像位置處的所述圖像相關聯(lián)的虛擬用戶界面(UI)設備，以及

使用以下方式訓練的用于確定UI事件的神經網絡：

與訓練虛擬UI設備相關聯(lián)的訓練圖像，所述訓練圖像包括所述訓練虛擬UI設備的表示和訓練指針，以及

關于所述訓練虛擬UI設備和所述訓練圖像中的所述訓練指針的訓練UI事件；

顯示器，其被配置為當所述圖像捕獲設備捕獲所述圖像時，在顯示位置處顯示所述虛擬UI設備，其中所述圖像位置與所述顯示位置相關；以及

硬件處理器，其與所述圖像捕獲設備、所述顯示器和所述非暫態(tài)計算機可讀存儲介質通信，所述處理器由可執(zhí)行指令編程為：

從所述圖像捕獲設備接收所述圖像；

將所述虛擬UI設備的表示渲染到所述圖像位置處的所述圖像上；

使用所述神經網絡確定關于所述圖像中的所述指針以及與所述圖像相關聯(lián)的所述虛擬UI設備的UI事件；

基于所述UI事件生成虛擬內容；以及

使所述顯示器將所述虛擬內容呈現(xiàn)給所述可穿戴顯示系統(tǒng)的佩戴者。

2.根據(jù)權利要求1所述的可穿戴顯示系統(tǒng)，其中所述虛擬UI設備的所述表示包括多個高對比度的形狀。

3.根據(jù)權利要求2所述的可穿戴顯示系統(tǒng)，其中所述多個高對比度的形狀包括多個高對比度的同心形狀。

4.根據(jù)權利要求2所述的可穿戴顯示系統(tǒng)，其中所述多個形狀的形狀的重心在彼此的閾值距離內。

5.根據(jù)權利要求4所述的可穿戴顯示系統(tǒng)，其中所述閾值距離是0。

6.根據(jù)權利要求2所述的可穿戴顯示系統(tǒng)，

其中所述多個形狀中的第一形狀與第一顏色相關聯(lián)，

其中所述多個形狀中的第二形狀與第二顏色相關聯(lián)，以及

其中所述第一形狀與所述第二形狀相鄰。

7.根據(jù)權利要求6所述的可穿戴顯示系統(tǒng)，其中所述第一顏色是黑色，以及其中所述第二顏色是白色。

8.根據(jù)權利要求6所述的可穿戴顯示系統(tǒng)，其中所述第二形狀是部分透明的。

9.根據(jù)權利要求8所述的可穿戴顯示系統(tǒng)，

其中所述第二形狀的第一區(qū)域與第一透明度值相關聯(lián)，以及

其中所述第二形狀的第二區(qū)域與第二透明度值相關聯(lián)。

10.根據(jù)權利要求9所述的可穿戴顯示系統(tǒng)，

其中所述第二形狀的所述第二區(qū)域進一步遠離所述第二形狀的所述第一區(qū)域，以及

其中所述第二透明度值小于所述第一透明度值。

11.根據(jù)權利要求6所述的可穿戴顯示系統(tǒng)，其中所述第二形狀在所述第一形狀內。

12.根據(jù)權利要求6所述的可穿戴顯示系統(tǒng)，

其中所述多個形狀中的第三形狀與第三顏色相關聯(lián)，以及

其中所述第一形狀與所述第一形狀相鄰。

13.根據(jù)權利要求12所述的可穿戴顯示系統(tǒng)，其中第三顏色是白色。

14.根據(jù)權利要求12所述的可穿戴顯示系統(tǒng)，其中第一形狀在所述第三形狀內。

15.根據(jù)權利要求1所述的可穿戴顯示系統(tǒng)，其中所述UI事件對應于所述虛擬UI設備的多個狀態(tài)中的一個狀態(tài)。

16.根據(jù)權利要求15所述的可穿戴顯示系統(tǒng)，其中所述多個狀態(tài)包括所述虛擬UI設備的激活或不激活。