[發明專利]手追蹤方法和裝置

有效

• 申請號: 201210480328.9
• 申請日: 2012-11-22
• 公開（公告）號: CN103839036B
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 冷杰
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京東方億思知識產權代理有限責任公司11258
• 代理人: 李曉冬

技術領域

本發明涉及圖像處理領域，更具體地涉及一種手追蹤方法和裝置。

背景技術

隨著計算機在現代社會的影響迅速擴大，多模式人機接口技術在現實生活中變得越來越重要。多模式人機接口技術的核心在于建立和諧自然的人機交互環境，使得用戶可以方便、自然地使用人類所熟知的方式使用計算機，其中最重要的環節就是要使計算機能夠準確無誤地感知包括自然語言、手勢語言、面部表情在內的不同人類表達方式，實現擬人化的人機交互。因此，手勢的檢測和識別成為人機交互領域的一項重要研究內容。

用在人機交互領域的最早期的手勢識別方法是利用機械手套裝置來直接測量手的姿態和關節的角度。然而，這種基于手套的方法沒有進一步的發展，因為與手套裝置相連的電纜只能把使用者限制在一個小的工作區域內。另一方面，這種手套裝置的價格比較昂貴，這也限制了它的廣泛應用。近幾年，一些研究者提出了基于自然手的手勢識別方法。

雖然手勢本身具有多樣性和多義性且具有在時間空間上的差異性，但是從手勢識別的角度考慮可以把手勢分為靜態手勢和動態手勢。其中，靜態手勢是指由單個手姿態表示的手勢，動態手勢是指由一系列手姿態組成的手勢。

圖1示出了傳統的用于對動態手勢進行識別的手勢識別系統的框圖。如圖1所示，該手勢識別系統包括圖像獲取單元102和手勢識別單元104。具體地，在圖1所示的手勢識別系統中，首先使用圖像獲取單元102獲取包含手部圖像的一系列視頻幀；然后使用手勢識別單元104在圖像獲取單元102所獲取的一系列視頻幀中定位手的位置，追蹤手的運動軌跡，進而進行手勢識別。一旦手勢被識別為預先定義的手勢之一，則該手勢將成為對于計算機/便攜設備上的軟件/應用的操作指令觸發器。

從以上所述可知，追蹤手的運動軌跡的處理(以下簡稱為“手追蹤處理”)是手勢識別處理的一個必要環節。由于手追蹤處理的復雜度會隨著精確度的提高而提高，所以如果要通過提高手追蹤處理的精確度來提高手勢識別處理的精確度，則勢必會造成手勢識別處理的整體復雜度的提高。在實際應用中，復雜度高的手勢識別處理的功耗很高，所以不適合用于諸如移動電話、數碼相機之類的超低功耗的設備。

為了使手勢識別處理能夠被應用于目前廣泛使用的諸如移動電話、數碼相機之類的超低功耗設備，需要盡可能地降低手勢識別處理的復雜度。但是，低復雜度的手勢識別處理通常又不能滿足諸如移動電話、數碼相機之類的超低功耗設備的用戶的使用需求。所以，為了盡可能地提高超低功耗設備的用戶的使用體驗，需要在盡可能地降低手勢識別處理的復雜度的同時，盡可能地提高手勢識別處理的精確度。

發明內容

鑒于以上所述的一個或多個問題，本發明提供了一種能夠在保持手勢識別處理的低復雜度的同時改善手追蹤處理的精確度的新穎的手追蹤方法和裝置。

根據本發明實施例的手追蹤方法，用于在手部圖像最初被檢測到的初始視頻幀之后的多個視頻幀中追蹤手的位置。該手追蹤方法包括：計算當前幀中的多個對比圖像區域與前一幀中的手部圖像區域之間的局部差異度量；利用準則模型計算分別與最小局部差異度量和次最小局部差異度量相對應的兩個對比圖像區域R1和R2、以及對比圖像區域R1和R2周圍的多個對比圖像區域的全局差異度量，并根據計算結果確定用于在當前幀中搜索手的位置的中心像素；以及在當前幀中的以所確定的中心像素及其周圍的像素為代表像素的多個對比圖像區域中全局差異度量最小的一個對比圖像區域A1滿足預定條件的情況下，將對比圖像區域A1的代表像素所在的位置作為當前幀中的手的位置。

根據本發明實施例的手追蹤裝置，用于在手部圖像最初被檢測到的初始視頻幀之后的多個視頻幀中追蹤手的位置。該手追蹤裝置包括：差異度量計算單元，用于計算當前幀中的多個對比圖像區域與前一幀中的手部圖像區域之間的局部差異度量；中心像素確定單元，用于利用準則模型計算分別與最小局部差異度量和次最小局部差異度量相對應的兩個對比圖像區域R1和R2、以及對比圖像區域R1和R2周圍的多個對比圖像區域的全局差異度量，并根據計算結果確定用于搜索手的位置的中心像素；以及手位置確定單元，用于在當前幀中的以所確定的中心像素及其周圍的像素為代表像素的多個對比圖像區域中全局差異度量最小的一個對比圖像區域A1滿足預定條件的情況下，將對比圖像區域A1的代表像素所在的位置作為當前幀中的手的位置。

本發明可以大大改善手追蹤的精確度，同時不會過度增加手追蹤處理的復雜度。

附圖說明

從下面結合附圖對本發明的具體實施方式的描述中可以更好地理解本發明，其中：