[發明專利]運動對象表示方法及其裝置

有效

• 申請號: 201410069754.2
• 申請日: 2014-02-27
• 公開（公告）號: CN104881881B
• 公開（公告）日: 2018-04-10
• 發明（設計）人: 趙穎
• 申請（專利權）人: 株式會社理光
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 張麗新

技術領域

本發明涉及圖像處理，更具體地涉及計算機視覺技術中的運動對象表示方法及其裝置。

背景技術

與運動對象相關聯的圖像處理技術具有各種層面，例如，以運動的人為例，可能涉及對象自身的標識、運動對象姿態的識別、運動對象的運動的預測。例如，手勢識別、對象性別識別、對象年齡識別、對象情緒識別等等。這些識別具有重要應用，例如可以進行基于手勢識別的人機交互，基于對象性別識別的廣告推送，基于性別識別和年齡識別的人口統計，基于情緒識別的人機交互界面變換等。

一般地，自動分析運動對象的圖像處理技術，涉及特征提取、模型建模或分類器訓練，應用模型或分類器來分析測試樣本的三個階段。其中的特征提取非常重要。

人在運動例如行走過程中，在相機視角不同的情況下，視圖不同，由此給人的運動相關識別帶來困難。

已經提出了一些基于圖像的人動作識別的技術。

美國授權專利公開US8189866B1披露一種人動作識別技術，其中，應用了低級特征（皮膚顏色、身體邊緣等）檢測器和高級特征（人臉等）檢測器，將提取的特征向量提供給分類器，以識別圖像中的人動作。

美國授權專利公開US8345984B2介紹了一種人動作識別技術，其中進行3D卷積以捕獲多幀連續圖像中的運動信息，并從時空維度提取特征；從視頻幀生成多通道信息，組合多通道信息獲得特征表示，該特征表示用于3D卷積神經網絡模型，應用該3D卷積神經網絡模型來識別人動作。

美國授權專利公開US7330566介紹了一種基于步態的運動對象識別技術，其中提取對象的步長、步調、高度參數來識別對象。

美國授權專利公開US7212651B2，介紹了一種從時序圖像序列中檢測運動對象的技術，其從時序圖像序列中選擇圖像，對選擇的圖像應用一組函數來得到一組組合的圖像，對該組組合的圖像中的檢測窗口應用濾波器的線性組合來確定檢測窗口的運動和外觀特征，對運動和外觀特征求和以確定累計分數，由此對檢測窗口中是否包含運動對象進行分類。

發明內容

希望提取至少一定程度上不隨視角改變的特征，以便消除或減輕視角變化給識別運動對象或對象的運動帶來的困難。

根據本發明的一個方面，提供了一種運動對象表示方法，可以包括：獲得捕獲運動對象的立體圖像，該立體圖像包括深度圖像；從立體圖像中的運動對象提取關鍵點；使用與圍繞關鍵點的第一預定區域內的像素的三維運動相關聯的統計信息來確定關鍵點的主方向；根據關鍵點的主方向，確定在該圍繞關鍵點的第二預定區域內的像素的運動向量，以得到旋轉不變運動向量；以及基于所確定的圍繞該關鍵點的第二預定區域內的像素的運動向量，提取描述關鍵點的特征。

根據本發明的另一方面，提供了一種運動對象表示裝置，可以包括：圖像獲得部件，獲得捕獲運動對象的立體圖像，該立體圖像包括深度圖像；關鍵點提取部件，從立體圖像中的運動對象提取關鍵點；關鍵點主方向確定部件，使用圍繞關鍵點的第一預定區域內的像素的三維運動相關聯的統計信息來確定關鍵點的主方向；關鍵點附近區域內像素運動向量確定部件，根據關鍵點的主方向，確定該圍繞關鍵點的第二預定區域內的像素的運動向量；以及關鍵點特征描述部件，基于確定的圍繞該關鍵點的第二預定區域內的像素的運動向量，提取描述關鍵點的特征。

利用根據本發明實施例的運動對象表示裝置和運動對象表示方法，使用關鍵點附近區域內的像素的三維運動相關聯的統計信息來確定關鍵點的主方向(dominant direction)，并根據關鍵點的主方向，調整圍繞關鍵點的區域內的像素的運動向量，以得到旋轉不變運動向量，由此使得調整后的關鍵點周圍的像素的運動向量與相機視角無關。隨后，基于關鍵點附近區域內的像素的運動向量來提取關鍵點的特征，從而關鍵點的特征也具有與相機視角無關的特性。

附圖說明

從下面結合附圖對本發明實施例的詳細描述中，本發明的這些和/或其它方面和優點將變得更加清楚并更容易理解，其中：

圖1(a)、（b）示出了相機視角不同所拍攝的人動作的圖像的示例，其中圖1(a)示出了人手張開和握緊兩狀態在不同相機視角下拍攝所得圖像，圖1(b)示出了人行走在不同相機視角下拍攝所得圖像。

圖2示意性地示出了人腿部上的兩點的運動相對關系。

圖3示出了根據本發明一個實施例的用于分析人的運動的應用系統100的總體結構圖。

圖4示出了根據本發明一個實施例的運動對象表示裝置2000的功能配置。

圖5示出了根據本發明一個實施例的運動對象表示方法3000的總體流程圖。