[發明專利]基于Pareto優化查詢的手部姿態識別方法

有效

• 申請號: 201711453511.9
• 申請日: 2017-12-28
• 公開（公告）號: CN108171163B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 孫瑾;張哲;楊劉濤;丁永暉
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 曹蕓

本發明涉及一種基于Pareto優化查詢的手部姿態識別方法，屬于基于視頻的數據處理技術領域。該方法利用Poser軟件建立多視點下的手部圖像庫樹形模型，提取手部圖像特征后建立特征空間與手姿態空間的映射關系，然后采用與Poser相同視點布置攝像機拍攝目標手勢，基于Pareto優化查詢方法將手部姿態估計中的圖像匹配問題轉化為多視點優化查詢，實現不同視點圖像層的并行搜索以提高查詢效率，最后在查詢獲得的Pareto最優點集中，依據歐式距離選取與圓心最近距離位置的解作為姿態識別結果。本發明采用多攝像機布置消除手部自遮擋造成的姿態識別歧義，基于Pareto優化查詢方法提高識別的準確性和實時性。

技術領域

本發明涉及一種基于Pareto(帕累托)優化查詢的手部姿態識別方法，屬于基于視頻的數據處理技術領域。

背景技術

基于視頻的無標記手姿態識別方法可以分為兩大類：基于模型 (Model-Based)的方法和基于表觀(Appearance-Based)的方法。

基于模型的方法利用3D手模型投影得到預測手型圖像，比較其與實時采集圖像之間差異，修正相應姿態參數。該方法跟蹤精度較高，但要在高維手姿態空間中完成各維參數的搜索耗時巨大，有的學者，參見“I.Oikonomidis,N.Kyriazis, A.Argyros.基于遮擋和物理約束下的全自由度手部交互跟蹤.2011年計算機視覺國際會議.2011:2088-2095”采用圓柱體，有的學者，參見“C.Qian,X.Sun,Y. Wei,X.Tang,J.Sun.基于深度的手部實時魯棒跟蹤.2014年計算機視覺與模式識別國際會議.2014:1106-1113”采用球體近似手模型，降低姿態空間維數，但仍無法滿足實時跟蹤的要求。

基于表觀的方法通過預先給出的手勢圖像庫，建立圖像特征空間到姿態空間的映射，由圖像特征直接估計姿態參數。相比較基于模型的方法，時間復雜度較低，易于達到實時性。但映射過程時間效率和準確率與手勢圖像庫圖像數量相關，特別為解決自遮擋問題，往往需要多視點下建立龐大的圖像庫以及高效的數據搜索算法的支持，即使通過索引機制加快圖像檢索效率，時間效率和準確率也是一對矛盾共同體。

發明內容

本發明提出了一種基于Pareto優化查詢的手部姿態識別方法，將姿態識別中的逐層單目標圖像匹配轉化為多視點查詢優化問題，實現不同視點層特征匹配的并行計算以降低時間消耗，并通過獲得Pareto最優點集，拋棄不相似度較大的節點，有效降低數據點個數，提高識別效率。同時由于將不同視點層的相似度同時引入，不設定每層的篩選閾值，避免由于篩選閾值引起的誤判，提高識別準確性。

本發明為解決其技術問題采用如下技術方案：

一種基于Pareto優化查詢的手部姿態識別方法，包括如下步驟：

(1)構建手勢特征庫：利用Poser軟件控制手部模型姿態參數獲得多視點攝像機下不同手勢圖像，依據視點關系建立手勢圖像庫樹形模型，采用計算機圖像處理方法提取對應手部圖像特征，在樹形模型下建立手勢特征空間與姿態參數空間的映射關系；

(2)獲得目標手勢圖像特征：采取與手勢圖像庫相同視點布置攝像機拍攝目標手部圖像，提取手部區域后采用步驟(1)中的圖像處理技術提取目標手勢不同視點下圖像特征；

(3)Pareto優化查詢：將步驟(2)拍攝得到的目標手勢各視點圖像特征與樹形模型中對應視點層各個圖像特征進行比較，不同視點層圖像可以并行計算與目標手勢對應視點下的圖像不相似度，與同一手勢不同視點圖像的不相似度構成了一個多維空間數據點，稱為Pareto點，與不同手勢的比較就構成了多維空間的Pareto點集，然后通過點集中的嚴格支配關系求解出Pareto最優點集；

(4)手部姿態識別：在查詢獲得的Pareto最優點集中，根據歐式距離選取與圓心最近距離點，依據在樹形模型下手勢特征空間與姿態參數空間的映射關系獲得最近距離點對應的手部姿態參數，實現手部姿態識別。