[發明專利]采用用戶界面設備的表示來訓練神經網絡

在審

• 申請號: 201880047400.4
• 申請日: 2018-05-31
• 公開（公告）號: CN110914790A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: A·克勒;G·布拉德斯基;V·巴德里娜拉亞楠
• 申請（專利權）人: 奇躍公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 魏子翔;楊曉光

在此公開的是能夠使用神經網絡確定關于虛擬UI設備(例如，按鈕)和指針(例如，手指或手寫筆)的用戶界面(UI)事件的可穿戴顯示系統的示例。當向用戶示出虛擬UI設備并且用戶使用指針與虛擬UI設備交互時，可穿戴顯示系統可以將UI設備的表示渲染在捕獲的指針的圖像上。UI設備的表示可以包括高對比度的同心形狀(或具有相似或相同重心的形狀)。可以使用帶有虛擬UI設備和指針的表示的訓練圖像來訓練神經網絡。

相關申請的交叉引用

本申請要求于2017年7月26日提交的題為“TRAINING A NEURAL NETWORK WITHREPRESENTATION OF USER INTERFACE DEVICES”的美國臨時申請號62/537,311的優先權的權益，其內容通過引用全部合并于此。

技術領域

本公開涉及虛擬現實和增強現實成像和可視化系統，并且特別涉及用于訓練和使用機器學習模型(例如，神經網絡)來確定用戶界面事件的用戶界面設備的表示。

背景技術

深度神經網絡(DNN)是一種計算機器學習模型。DNN屬于一類人工神經網絡(NN)。利用NN，構建了模擬生物神經網絡特征的計算圖。生物神經網絡包括突出用于計算并且負責生物系統的許多能力的特征，否則這些特征可能難以通過其它方法捕獲。在一些實現方式中，這種網絡被布置成單向連接的順序分層結構。例如，特定層的人工神經元的輸出可以連接到后續層的人工神經元的輸入。DNN可以是具有大量層(例如，10、100或更多層)的NN。

不同的NN在不同的視角中彼此不同。例如，不同NN的拓撲或架構(例如，層的數量和層如何互連)和權重可以是不同的。NN的權重可以近似類似于生物系統中神經連接的突觸強度。權重影響從一層傳播到另一層的效果強度。人工神經元(或NN的節點)的輸出可以是其輸入的加權和的非線性函數。NN的權重可以是在這些求和中出現的權重。

發明內容

在一方面，公開了一種可穿戴顯示系統。該可穿戴顯示系統包括：圖像捕獲設備，其被配置為捕獲包括指針的圖像；非暫態計算機可讀存儲介質，其被配置為存儲：圖像，與在圖像上的圖像位置處的圖像相關聯的虛擬用戶界面(UI)設備，以及用于確定使用以下方式訓練的UI事件的神經網絡：與訓練虛擬UI設備相關聯的訓練圖像，該訓練圖像包括訓練虛擬UI設備的表示和訓練指針，以及關于訓練虛擬UI設備和訓練圖像中的訓練指針的訓練UI事件；顯示器，其被配置為當圖像捕獲設備捕獲圖像時，在顯示位置處顯示虛擬UI設備，其中，圖像位置與顯示位置相關；以及硬件處理器，其與圖像捕獲設備、顯示器和非暫態計算機可讀存儲介質通信，該處理器由可執行指令編程為：從圖像捕獲設備接收圖像；將虛擬UI設備的表示渲染到圖像位置處的圖像上；以及使用神經網絡確定關于圖像中的指針以及與圖像相關聯的虛擬UI設備的UI事件。

在另一方面，公開了一種用于訓練神經網絡以確定用戶界面事件的系統。該系統包括：計算機可讀存儲器，其存儲可執行指令；以及一個或多個處理器，其由可執行指令編程為至少：接收多個圖像，其中多個圖像中的一個圖像包括多個指針中的一個指針，其中圖像與在圖像上的圖像位置處的多個虛擬UI設備中的虛擬用戶界面(UI)設備相關聯，以及其中圖像與關于虛擬UI設備和圖像中的指針的多個UI事件中的UI事件相關聯；將虛擬UI設備的表示渲染到圖像位置處的圖像上以生成訓練圖像；生成包括輸入數據和對應目標輸出數據的訓練集，其中輸入數據包括訓練圖像，以及其中對應的目標輸出數據包括UI事件；以及使用訓練集訓練神經網絡，以確定與虛擬UI設備和指針相關聯的UI事件。