[發明專利]手語視頻的相似度評估模型的建立方法

有效

• 申請號: 201110200160.7
• 申請日: 2011-07-14
• 公開（公告）號: CN102222237A
• 公開（公告）日: 2011-10-19
• 發明（設計）人: 尹寶才;王茹;王立春;孔德慧
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/64
• 分類號: G06K9/64
• 代理公司: 北京中北知識產權代理有限公司 11253
• 代理人: 馮夢洪

1.手語視頻的相似度評估模型的建立方法，其特征在于，該方法包括以下步驟：

(1)確定主觀評估值：對隨機抽取N個人的每個視頻對進行整體相似度評估，并給出N個主觀評分，然后對N個主觀評分取平均值作為主觀評估值，N為正整數；

(2)進行特征提取：對每個視頻逐幀進行標注，包括肩、肘、腕三個關節位置的標注，并存儲成.xml格式的文件，特征提取包括對用于軌跡評估的關節位置的提取和對用于輪廓評估的胳膊形態的提取，然后基于貪心算法提取出左右胳膊的樣例庫；

(3)進行視覺相似度評估：基于視頻時空分布特征計算得到壓縮視頻簽名，并通過計算視頻簽名距離進行視覺相似性度量；

(4)進行輪廓相似度評估：基于步驟(2)的樣例庫，將視頻的每幀圖像與樣例庫中的樣例進行比較，提取出給定視頻的胳膊形態序列，通過比較的匹配程度進行輪廓相似度的評估；

(5)進行運動軌跡相似度評估：基于步驟(2)的腕關節位置的標注，生成運動軌跡，并確定軌跡的距離，該距離即動態時間規整DTW失真度，然后將其轉換到[0，1]區間作為其運動軌跡的相似度評估；

(6)進行模型融合：視覺相似度評估、輪廓相似度評估和運動軌跡相似度評估作為解釋變量，步驟(1)的主觀評估值作為響應變量，將解釋變量與響應變量進行多元線性回歸分析，然后融合成多元線性評估模型。

2.根據權利要求1所述的建立方法，其特征在于，所述步驟(2)包括以下分步驟：

(2.1)設定一個初始樣例，并將其加入樣例庫；

(2.2)對采集的手語視頻的每幀圖像的肩、肘、腕三個關節的位置作為特征點與樣例庫中的樣例進行比較；

(2.3)如果待比較的胳膊形態與樣例庫中所有樣例的三個特征點的位置總差值超過閾值，則該胳膊為一個新樣例，將其加入樣例庫中，執行步驟(2.2)；否則執行步驟(2.4)；

(2.4)結束。

3.根據權利要求2所述的建立方法，其特征在于，所述步驟(3)包括以下分步驟：

(3.1)根據以下公式得到視頻對應的YC_bC_r直方圖：

s＝2m₁+m₂+3m₃

m1=Σi=1NiYi;]]>m2=Σi=1NCbi;]]>m3=Σi=1NCri]]>

其中Y_i、Cb_i，Cr_i是歸一化直方圖區間頻數，i為對應區間，頻數按從大到小降序排列，N取64，m₁，m₂，m₃是加權值；

(3.2)根據視頻幀的時空分布特性，視頻簽名形成了代表該視頻特征的埋單序列，表示為v_m和v_d，計算公式如下：

vm=Σi=1Lsi/L;]]>vd=(Σi=1L(si-vm)2/L)12]]>

其中s_i是每幀圖像的編碼，L是視頻的幀數；

(3.3)通過以下公式進行兩視頻片段的視覺相似度評估：

D=1-|vm1-vm2|+|vd1-vd2|max(vm1,vm2)+max(vd1,vd2).]]>