[發(fā)明專利]基于Pareto優(yōu)化查詢的手部姿態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201711453511.9
• 申請日: 2017-12-28
• 公開（公告）號: CN108171163B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設計）人: 孫瑾;張哲;楊劉濤;丁永暉
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 曹蕓

1.一種基于Pareto優(yōu)化查詢的手部姿態(tài)識別方法，其特征在于，包括如下步驟：

(1)構建手勢特征庫：利用Poser軟件控制手部模型姿態(tài)參數(shù)獲得多視點攝像機下不同手勢圖像，依據(jù)視點關系建立手勢圖像庫樹形模型，采用計算機圖像處理方法提取對應手部圖像特征，在樹形模型下建立手勢特征空間與姿態(tài)參數(shù)空間的映射關系；

(2)獲得目標手勢圖像特征：采取與手勢圖像庫相同視點布置攝像機拍攝目標手部圖像，提取手部區(qū)域后采用步驟(1)中的圖像處理技術提取目標手勢不同視點下圖像特征；

(3)Pareto優(yōu)化查詢：將步驟(2)拍攝得到的目標手勢各視點圖像特征與樹形模型中對應視點層各個圖像特征進行比較，不同視點層圖像可以并行計算與目標手勢對應視點下的圖像不相似度，與同一手勢不同視點圖像的不相似度構成了一個多維空間數(shù)據(jù)點，稱為Pareto點，與不同手勢的比較就構成了多維空間的Pareto點集，然后通過點集中的嚴格支配關系求解出Pareto最優(yōu)點集；所述Pareto點集及Pareto最優(yōu)點集的形成方法，包括如下步驟：

步驟A：根據(jù)需要布置n個視點C_i，其中i＝1,2,3,...n，利用Poser軟件獲得手部模型在不同視點下的圖像構成手勢圖像庫樹形模型，每個葉子節(jié)點和它的祖先節(jié)點是同一個手勢在不同視點下拍攝的圖像，每一層節(jié)點是同一視點下不同手勢的圖像；

步驟B：按照模型庫攝像機視點位置布置攝像機實拍目標手勢，分別計算目標手勢各視點下圖像與模型庫中對應視點層各節(jié)點的圖像特征不相似度，各個視點層的不相似度可并行計算，即在計算C_i視點下目標手勢圖像與對應視點層各圖像的特征不相似度的同時，可同時計算C_j視點下目標手勢圖像與對應視點層各圖像的特征不相似度，其中i≠j；不同視點下的比較結果構建多維坐標系，每一維坐標分別代表目標手勢與對應視點層各手勢圖像的特征不相似度，目標手勢與圖像庫中手勢s_i的特征不相似度構成了點其中是與手勢s_i在視點C₁層的圖像特征不相似度，是與手勢s_i在視點C₂層的圖像特征不相似度，是與手勢s_i在視點C₃層的圖像特征不相似度，是與手勢s_i在視點C_n層的圖像特征不相似度，點d_i的維數(shù)由視點數(shù)n決定；與手勢庫中所有手勢的匹配情況構成了Pareto點集D＝(d₁,d₂,...,d_m)，其中d₁是目標手勢與樹形模型中手勢s₁在各視點下圖像特征不相似度組成的多維數(shù)據(jù)點，d₂是目標手勢與手勢s₂在各視點下圖像特征不相似度組成的多維數(shù)據(jù)點，d_m是目標手勢與手勢s_m在各視點下圖像特征不相似度組成的多維數(shù)據(jù)點，m為手勢庫中手勢個數(shù)；

步驟C：在Pareto點集D＝(d₁,d₂,...,d_m)中，如果點d_i和d_j滿足：其中p＝1,2...,n，且有稱元素d_i嚴格地支配元素d_j，記作其中是目標手勢與樹形模型中手勢s_i在p視點下圖像特征的不相似度，是目標手勢與樹形模型中手勢s_j在p視點下圖像特征的不相似度，是目標手勢與樹形模型中手勢s_i在q視點下圖像特征的不相似度，是目標手勢與樹形模型中手勢s_j在q視點下圖像特征的不相似度；如果d不被D中其余元素嚴格支配，則稱d為一個Pareto最優(yōu)點；D中所有的Pareto最優(yōu)點構成了Pareto最優(yōu)點集合，也稱為Pareto最優(yōu)點集；(4)手部姿態(tài)識別：在查詢獲得的Pareto最優(yōu)點集中，根據(jù)歐式距離選取與圓心最近距離點，依據(jù)在樹形模型下手勢特征空間與姿態(tài)參數(shù)空間的映射關系獲得最近距離點對應的手部姿態(tài)參數(shù)，實現(xiàn)手部姿態(tài)識別。