[發明專利]一種基于短基線立體成像的人手及其對象交互跟蹤方法

在審

• 申請號: 201710632589.0
• 申請日: 2017-07-28
• 公開（公告）號: CN107392163A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G06F3/0481
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及肢體動作分析領域，尤其是涉及了一種基于短基線立體成像的人手及其對象交互跟蹤方法。

背景技術

在計算機視覺領域中，人類手部動作與姿態的三維視圖恢復具有重要的意義。人們無論在與物理世界打交道或者是與人類溝通都需要一直用到手部，并且使用方式多樣且各不相同。因此，一種準確、穩健且實時的對于手部動作分析與跟蹤的方法對人類來講有重要影響，并且在許多領域有巨大的商業潛力或實用價值，例如物聯網的人機交互、醫學肢體康復、手語動作分析等，都亟待開發研究。此外，在安檢領域的手持物體姿態分析、指揮系統的遠程手勢識別、智能機器人的擬人仿真及替代人類在危險或不適工作環境中的動作設計等方面都有極大應用前景。

三維手部姿態的跟蹤仍然具有挑戰性。由于形狀復雜、細節豐富、姿勢多變，對手型的建模并不容易。同時在細節方面，因為多關節結構的不確定性及其長短程度的不統一性，在取景時往往出現模糊不清的姿勢和自遮擋的現象，并且動作的急緩、輕重也對姿態的建模帶來不良影響，因此在對手型建模的脈絡填充過程帶來困難。

本發明提出了一種基于隨機優化求解最優參數的新框架。對輸入成對人手立體彩色圖像進行辨識度匹配圖的計算，然后進行帶皮膚質地的人手建模，在基于粒子群算法的基礎上求解模型的參數，并且計算其區域延續性按評價結果排列，得分最高的模型用于預測跟蹤，并疊加到實際場景中進行投影。本發明可以處理不同程度彎曲和姿態的手型建模，提供了基于粒子群算法的參數求解方法，準確并有效地對人手及其對象交互進行跟蹤。

發明內容

針對解決在復雜場景中進行人手及其對象跟蹤的問題，本發明的目的在于提供一種基于短基線立體成像的人手及其對象交互跟蹤方法，提出了一種基于隨機優化求解最優參數的新框架。

為解決上述問題，本發明提供一種基于短基線立體成像的人手及其對象交互跟蹤方法，其主要內容包括：

(一)場景建模；

(二)辨識圖建模；

(三)模型評價；

(四)隨機優化。

其中，所述的場景建模，給定輸入的成對立體彩色人手圖像，1)使用人手特征數據庫自動并可視化地仿真人手，使用22根骨頭進行對右手帶有皮膚特質的模擬，同時，對該仿真右手進行類似血脈的網絲狀物填充，共相互連接1491個節點，并且該手腕具有26個自由度；每只手由27個參數控制，分別為：3個參數表征手的位置、4個參數用于四次元數表征手體轉動以及五根手指各使用4個參數表征彎曲角度；2)對于與人手交互作用的對象其場景建模則使用7個參數，3個參數表征對象位置及4個參數用于四次元數表征對象轉動，該對象具有6個自由度；綜上，可用多維度數組管理所有參數用于建立獨特的人手及其對象模型。

所述的辨識圖建模，包括辨識度劃分和適度響應分類和辨識度統計。

所述的辨識度劃分，根據信息論中不確定熵含有信息量大于確定熵的原理，在檢查彩色圖像中顏色的延伸性可用此原理測定仿真性程度，具體為：對于圖像中的每個像素p，使用局部自相關公式計算以其為中心的近鄰B×B的主曲率λ₁和λ₂，同時不失一般性，假設λ₁≥λ₂且B＝3，當λ₁和λ₂都處于較小值時說明顏色區域較為統一，當λ₁和λ₂都較大時說明出現顏色的拐角，而當λ₁比λ₂要大得多時，則說明像素p的近鄰是邊緣區域，因此辨識度可用哈里斯角點檢測方程定義為：

ch＝λ₁·λ₂-k(λ₁+λ₂)²(1)

其中，k標準取值為0.04。

所述的適度響應建立，對于不同的顏色延續性給予不同的響應，即對于像拐角的像素區域給予低響應，對像邊緣的像素區域給予高響應，對均衡區域給予零響應，此外，在每張圖像中都對辨識度進行相對測量，向量(λ₁,λ₂)量級d定義為：

對數用于改變比例，接著，對整張圖像計算d的中值m_d＝d/2。

所述的辨識度統計，利用激活函數進行回歸計算，識別不同程度的響應，其激活函數為：