[發明專利]使用姿態語言離散值的手部姿態的檢測

在審

• 申請號: 202110375375.6
• 申請日: 2016-12-22
• 公開（公告）號: CN113093909A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: D·弗里德曼;K·卡蒙;E·克里普卡;Y·恩格爾;Y·沙皮羅
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03;G06F3/038;G06K9/00;G06K9/62
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 彭夢曄

本公開的實施例涉及使用姿態語言離散值的手部姿態的檢測。一種用于檢測用戶的手部姿態的計算機實現的方法，包括：(a)接收每個表示手部姿態的順序邏輯模型。(b)接收運行時手部數據集的運行時序列，每個運行時手部數據集由離散手部值得分定義，離散手部值得分指示通過分析描繪移動手部的定時圖像而推斷的用戶的移動手部的手部特征的當前狀態。(c)在SSVM函數中提交運行時手部數據集和預定義手部特征記錄以關于手部特征記錄為運行時手部數據集生成估計項。(d)通過使用針對運行時手部數據集的估計項優化得分函數來估計哪個手部姿態與在定時圖像中描繪的運行時序列最佳匹配。

本申請是國際申請號為PCT/US2016/068160、國際申請日為2016年12月22日、于2018年06月29日進入中國國家階段、中國國家申請號為201680077619.X、發明名稱為“使用姿態語言離散值的手部姿態的檢測”的發明專利申請的分案申請。

背景技術

隨著計算機化環境的發展，人機界面(HMI)的使用顯著增加。越來越需要更自然的人機用戶界面(NUI)方法(諸如例如，語音和/或注視)以及更具體地手部姿態交互來替代和/或補充傳統的HMI，諸如例如鍵盤、指示設備和/或觸摸界面。這樣做可以用于例如消除和/或減少對中介設備(諸如鍵盤和/或指示設備)的需求，支持免提交互，改善了(多個)殘疾人群的可訪問性和/或提供多模態交互環境?？赡艽嬖谟糜跇俗R和/或識別(多個)手部姿態的當前解決方案，然而它們大多不成熟，準確度不足和/或高復雜度，同時需要高度計算資源用于廣泛的計算機視覺處理和/或機器學習。這樣的技術可能依賴于整個手部骨骼關節和/或復雜的機器學習算法來檢測和/或分類手部姿態，這可能使得這種實現昂貴并且對于集成不具吸引力，從而阻礙了它們針對廣泛用途被采用。

發明內容

根據本公開的一些實施例，提供了用于通過關于多個預定義手部姿態來分析描繪用戶的(多個)手部的移動的一個或多個圖像來估計一個或多個運行時手部數據集的運行時序列以將運行時序列標識為有效手部姿態來檢測用戶的手部姿態的系統和方法。貫穿本公開在下文中提到的預定義手部姿態是指模擬(多個)手部的相應手部姿態的預定義手部姿態表示。以相同的方式，貫穿本公開在下文中提到的手部姿態、手部姿勢和/或手部運動的定義、創建、構造和/或生成是指分別模擬(多個)手部的相應手部姿態、姿勢和運動的手部姿態、手部姿勢和手部運動的表示的定義、創建、構造和/或生成。預定義手部姿態是使用離散值架構構造的，其中每個預定義手部姿態可以包括一個或多個手部姿勢和/或手部運動。手部姿勢和手部運動中的每個被表示為由離散手部值定義的預定義手部特征記錄，每個離散手部值指示所描繪的手部的對應手部特征(特性)的狀態，諸如例如各種手指和/或手部狀態和/或動作。類似地，一個或多個運行時手部數據集中的每個可以包括每個由運行時手部數據集定義的一個或多個手部姿勢和/或手部運動，運行時手部數據集包括一個或多個離散手部值得分，每個離散手部值得分指示對應手部特征的當前狀態。通過量化一個或多個手部特征的連續值可以由離散手部值來表示連續值，以支持手部姿態檢測過程的離散架構。一個或多個離散手部值得分通過分析描繪用戶的手部的一個或多個圖像來推斷。每個運行時手部數據集與一個或多個預定義手部特征記錄一起提交給一個或多個結構化支持向量機(SSVM)函數，以關于每個預定義手部特征記錄來為運行時手部數據集生成多個估計項。然后，通過使用具有離散手部值得分和離散手部值的估計項來解析加權計算來標識最佳的預定義手部特征記錄，運行時手部數據集可以被估計符合預定義手部特征記錄之一。每個預定義手部姿態可選地由一個或多個順序邏輯模型來定義，并且可以由記錄(多個)手部姿勢和/或(多個)手部運動之間的轉換的有限狀態機(FSM)來表示。用于標識最佳地描述所描述的運行時序列的最佳的預定義手部姿態的優化過程可以通過動態編程來完成，該動態編程在FSM內的一個或多個序列上使用一個或多個得分函數對預定義手部姿態FSM的順序邏輯模型進行增強之后使用例如維特比解碼。可選地，手部姿態檢測不限于特定的預定義手部姿態，而是可以檢測由手部姿勢和/或手部運動構成的整個類別的手部姿態，其中手部姿勢和/或手部運動是使用離散手部值架構構建的。