[發明專利]界面控制系統、界面控制裝置、界面控制方法及程序

有效

• 申請號: 201680029080.0
• 申請日: 2016-04-18
• 公開（公告）號: CN107615214B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 則枝真;吉本誠;才田好則
• 申請（專利權）人: 日本電氣株式會社
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/0346;H03M11/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

1.一種界面控制系統，包括：

檢測單元，所述檢測單元基于從附著到用戶的照相機獲得的圖像，檢測附著到用戶的身體的第一標記，并且確定檢測到的所述第一標記的類型,其中所述第一標記是顯示在附著到用戶的手臂部分的設備的顯示屏幕上的圖像；

顯示控制單元，所述顯示控制單元基于由所述檢測單元檢測到的所述第一標記，在用戶佩戴的頭戴式顯示器的顯示屏幕上顯示與所確定的第一標記的類型對應的操作圖像，使得所述操作圖像疊加在用戶的身體上并被用戶視覺識別；

操作檢測單元，所述操作檢測單元確定用戶是否操作了所述操作圖像；以及

第二顯示控制單元，所述第二顯示控制單元響應于對所述設備的用戶操作，改變在所述設備的所述顯示屏幕上顯示的第一標記的類型。

2.根據權利要求1所述的界面控制系統，

其中所述檢測單元通過檢測所述第一標記來確定所述第一標記的位置、大小或姿勢，以及

其中所述顯示控制單元基于由所述檢測單元確定的所述第一標記的位置、大小或姿勢，來確定所述頭戴式顯示器的所述顯示屏幕中的所述操作圖像的位置、大小或姿勢。

3.根據權利要求1所述的界面控制系統，其中所述顯示控制單元基于用戶對所述操作圖像執行的操作，來改變要顯示的操作圖像。

4.根據權利要求1所述的界面控制系統，

其中所述第二顯示控制單元還：在由檢測用戶的所述手臂部分的振動的傳感器檢測到預定振動的情況下，在所述設備的所述顯示屏幕上執行預定顯示，以及

其中所述操作檢測單元在所述預定顯示被所述照相機成像的情況下確定用戶操作了所述操作圖像。

5.根據權利要求1所述的界面控制系統，其中所述操作檢測單元在從所述照相機獲得的圖像所包括的區域中的基于所述第一標記定義的部分區域中檢測操作體，以及，在從所述部分區域中檢測到所述操作體的情況下確定用戶操作了所述操作圖像。

6.根據權利要求1所述的界面控制系統，所述界面控制系統還包括：操作對象確定單元，在所述操作圖像中包括多個操作對象并且對所述操作圖像執行操作的用戶的手與多個操作對象重疊的情況下，所述操作對象確定單元將多個操作對象中的與用戶的手重疊的面積在預定比例或以上的操作對象確定為用戶操作了的操作對象。

7.根據權利要求1所述的界面控制系統，所述界面控制系統還包括：操作對象確定單元，在所述操作圖像中包括多個操作對象并且對所述操作圖像執行操作的用戶的手與多個操作對象重疊的情況下，所述操作對象確定單元將多個操作對象中的位于最左部或最右部的操作對象確定為用戶操作了的操作對象。

8.根據權利要求1所述的界面控制系統，其中在用戶通過所述頭戴式顯示器視覺識別的操作圖像與操作所述操作圖像的用戶的手重疊的情況下，所述顯示控制單元在所述頭戴式顯示器的所述顯示屏幕上顯示操作圖像，在所顯示的操作圖像中在用戶的手所在的位置疊加手的圖像。

9.根據權利要求1所述的界面控制系統，其中所述顯示控制單元根據用戶的身體的姿勢僅顯示所述操作圖像的一部分。

10.一種界面控制系統，包括：

檢測單元，所述檢測單元基于從附著到用戶的照相機獲得的圖像，檢測附著到用戶的身體的第一標記,其中所述第一標記是顯示在附著到用戶的手臂部分的設備的顯示屏幕上的圖像；

顯示控制單元，所述顯示控制單元基于由所述檢測單元檢測到的所述第一標記，在用戶佩戴的頭戴式顯示器的顯示屏幕上顯示操作圖像，使得所述操作圖像疊加在用戶的身體上并被用戶視覺識別；

操作檢測單元，所述操作檢測單元確定用戶是否操作了所述操作圖像；以及

第一標記確定單元，所述第一標記確定單元提取從所述照相機獲得的圖像中的背景的特征，并且基于所提取的特征，確定在所述設備的所述顯示屏幕上顯示的所述第一標記的形狀、圖案或顏色。