[發(fā)明專利]信息輸入設備、信息輸入方法

有效

• 申請?zhí)枺?/td>: 201310089166.0
• 申請日: 2013-03-20
• 公開（公告）號: CN103365411B
• 公開（公告）日: 2017-09-05
• 發(fā)明（設計）人: 野田邦昭;鈴木洋貴;武田晴登;渡邊有祐
• 申請（專利權）人: 索尼公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 付建軍

技術領域

本公開涉及用于向要控制的設備輸入由用戶發(fā)出的控制命令的信息輸入設備、信息輸入方法和計算機程序。具體地講，本公開涉及一種用于輸入例如手勢的由用戶發(fā)出的控制命令的信息輸入設備、信息輸入方法和計算機程序。

背景技術

在人所生活的環(huán)境中，存在諸如家用電器和信息裝置的由用戶進行控制的各種類型的產品。已經存在被構造為使用諸如激光筆或遙控器的裝置來遠程控制這些類型的設備的技術。

例如，已經提出了遙控位置通知系統(tǒng)(例如，參見日本未審專利申請公布No.2008-224584)和指向系統(tǒng)(例如，參見日本未審專利申請公布No.2009-301564)等等，該遙控位置通知系統(tǒng)能夠向用戶通知遙控的位置；當用戶用手揮動從其中心發(fā)射高亮度擴散光束的指向裝置時，該指向系統(tǒng)使用多個光接收傳感器檢測該指向裝置的位置，并且在垂直或水平地移動指針的同時根據手的運動在屏幕上顯示指針。然而，在這些相關技術中，用戶必須用他或她的手指操作用于產生用于檢測手指的位置或姿勢的信號的特定裝置，例如，遙控器。

還提出了遙控器(例如，參見日本未審專利申請公布No.2010-79332)，所述遙控器被構造為拍攝正在操作用于顯示操作按鈕或菜單的操作顯示裝置的操作者的圖像，并且基于從拍攝的圖像檢測的手區(qū)域的形狀和運動以及操作顯示裝置上的顯示來檢測用戶執(zhí)行的操作。這個相關技術能夠使用用戶的手指的輪廓來識別他或她的姿勢。然而，由于這個技術僅僅使用二維輪廓信息，所以難以穩(wěn)定地識別姿勢，除非手指的姿勢對于相機是適當的。由于這個原因，用戶必須意識到相機的位置。 這對執(zhí)行操作的用戶的姿勢施加了很大的限制。當觀測手指的形狀的方向等發(fā)生變化時，手指的輪廓明顯變化。因此，當根據輪廓識別姿勢時，取決于觀測方向，識別結果變得不穩(wěn)定。

還提出了圖像識別設備（例如，參見日本未審專利申請公布No.2010-15553），所述圖像識別設備三維地讀取操作者相對于虛擬操作表面的運動，基于操作者的一部分與虛擬操作表面之間的位置關系來確定該運動是否是操作，并且當操作者在基于這個位置關系定義的兩個或更多虛擬操作層的任何一個中進行運動時，基于事先向這個虛擬操作層分配的操作類型和操作者在這個虛擬操作層中的運動來確定操作的細節(jié)。這些圖像識別設備使用圖像特征值，三維地跟蹤用戶的手指。然而，例如，當照明條件急劇變化時，難以在圖像的多個幀之間穩(wěn)定地匹配和跟蹤特征點。因此，該圖像識別設備看起來識別穩(wěn)定性低。另外，盡管這些圖像識別設備可以測量手指的特征點的三維位置，但是它們不能夠檢測手指自身的姿勢。另外，由于這些圖像識別設備識別在相對于相機的位置處的用戶，所以用戶必須意識到相機的位置。另外，為了使用戶可以執(zhí)行直觀操作，必須基于相機與屏幕之間的相對位置關系來確定相機的位置。因此，選擇的自由度低。

還提出了人運動確定設備（例如，參見日本未審專利申請公布No.2012-3364），該人運動確定設備被構造為使用正在執(zhí)行預定運動的人的拍攝圖像并且還使用關于拍攝的圖像的深度的信息來確定人的運動，從拍攝的圖像提取特征點來計算三維特征值，跟蹤這個三維特征值以計算四維軌跡特征值，并且使用該四維軌跡特征值針對每個單位跟蹤時間確定運動。然而，為了向這些設備輸入操作，用戶必須在與由標記指示的位置關聯(lián)的虛擬操作表面上執(zhí)行操作。因此，對正執(zhí)行操作的用戶的位置或姿勢施加了限制。

發(fā)明內容

期望提供能夠基于由用戶執(zhí)行的直觀運動（例如，手勢）向要控制的設備輸入控制命令的優(yōu)良的信息輸入設備、信息輸入方法和計算 機程序。

根據本發(fā)明的一個實施例，提供了一種信息輸入設備。該信息輸入設備包括：觀測單元，被構造為觀測包括用戶以及一個或多個要控制的設備的環(huán)境，該觀測單元包括傳感器；學習單元，被構造為根據由觀測單元獲得的觀測數據，分離前景和背景，并且學習前景和背景的三維模型，前景包括用戶以及所述一個或多個要控制的設備，背景包括除前景外的環(huán)境；狀態(tài)估計單元，被構造為估計所述環(huán)境中已經建模的前景的位置和姿勢；用戶識別單元，被構造為從前景識別用戶的手指并且識別手指的形狀、位置和姿勢；以及設備控制單元，被構造為基于由用戶識別單元識別的手指的形狀、位置和姿勢，向所述一個或多個要控制的設備輸出控制命令。

在根據本公開的實施例的信息輸入設備中，觀測單元可以獲得環(huán)境的距離圖像，學習單元可以從距離圖像分離前景和背景并且學習前景和背景的三維模型。

在根據本公開的實施例的信息輸入設備中，學習單元可以在用戶實際控制或操作要控制的期望設備之前，事先構建要控制的期望設備的三維模型。