[發(fā)明專利]一種基于自動編碼器和DTW的手繪圖人體運動檢索方法

有效

• 申請?zhí)枺?/td>: 201710377338.2
• 申請日: 2017-05-25
• 公開（公告）號: CN107169117B
• 公開（公告）日: 2020-11-10
• 發(fā)明（設計）人: 肖秦琨;楚超勤;高嵩
• 申請（專利權）人: 西安工業(yè)大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06K9/00;G06K9/62;G06T7/11;G06T7/246;G06T7/90
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 胡燕恒

1.一種基于自動編碼器和DTW的手繪圖人體運動檢索方法，其特征在于，具體按照以下步驟實施：

步驟1：使用相應設備拍攝單目視頻，拍攝速度為30幀每秒，構建有N個類別的動態(tài)人體運動序列數(shù)據(jù)庫V⁽¹⁾＝(V₁⁽¹⁾,…,V_N⁽¹⁾)及M個類別人體運動骨架手繪圖序列數(shù)據(jù)庫V⁽²⁾＝(V₁⁽²⁾,…,V_M⁽²⁾)；

步驟2：提取動態(tài)人體運動序列數(shù)據(jù)庫V⁽¹⁾的每幀圖像，得到幀圖像F_i＝(f_i1,...,f_in)，其中n表示動態(tài)人體運動序列數(shù)據(jù)庫V⁽¹⁾的幀數(shù)，對f_ij進行預處理，通過背景差分和膚色模型獲取出f_ij中運動輪廓，通過人體骨架提取法獲得運動骨架；

步驟3：通過系統(tǒng)學習獲取基于模糊c-均值聚類的代表性幀圖像數(shù)據(jù)庫D_RF；

步驟4：代表性幀圖像數(shù)據(jù)庫D_RF通過使用自動編碼器提取人體骨胳運動圖像特征；

步驟5：應用畫板手繪預查詢的人體運動序列，首先應用自動編碼器提取手繪圖序列特征，進而應用模糊聚類獲取手繪圖運動序列代表幀應用DTW算法計算RF^X和代表性幀圖像數(shù)據(jù)庫D_RF距離，根據(jù)相似距離順序排序，輸出最優(yōu)運動檢索結果；

所述的步驟2具體按照以下步驟實施：

(21)使用Kinect獲取人體運動的RGB彩色與深度圖像，去除RGB彩色與深度圖像噪聲，并對其進行圖像校正處理；

(22)根據(jù)彩色圖像背景的復雜程度采用不同方法去除背景，獲得前景彩色圖像；

(23)基于前景彩色圖像且依據(jù)膚色模型對臉部及手部進行定位并將臉部及手部定位質心作為初始獲取的關節(jié)點；

(24)基于學習得到的貝葉斯分類器對彩色圖像前景中的運動人體進行部件分類識別；

(25)依據(jù)分類識別結果判定肢體各剛體結構部位類別，再根據(jù)各剛體部件的連接關系確定出各關節(jié)點，依次連接各關節(jié)點形成平面人體骨架，結合各個關節(jié)點深度數(shù)據(jù)將平面骨架變換成三維立體骨架；

所述的步驟3具體按照以下步驟實施：

(31)給定運動序列{F_i}_i＝1:n，其中n是幀數(shù)，使用模糊c-均值FCM聚類方法生成代表性幀；

(32)基于幀圖像F_i＝(f_i1,...,f_in)聚類獲取運動序列代表性的幀RF⁽¹⁾_i＝(rf₁⁽¹⁾,…,rf_k⁽¹⁾)，并對V⁽²⁾手繪圖數(shù)據(jù)庫進行聚類處理，獲得手繪圖關鍵幀圖像RF⁽²⁾_j＝(rf₁⁽²⁾,…,rf_k⁽²⁾)，然后總的代表幀可以表示為RF＝{rf_k}_k＝1:c，其中rf_k對應于第k個聚類中心；

(33)所有視頻運動類別及手繪圖所對應的代表性幀圖像共同組成人體運動代表性幀圖像數(shù)據(jù)庫D_RF＝{RF⁽¹⁾_i,RF⁽²⁾_j}；

所述的步驟4具體按照以下步驟實施：

(41)假設自動編碼器的輸入為x，首先，該編碼器將原始信號x映射到特征信號z中：

z^(e)＝h^(e)(W^(e)x+b^(e))

其中“(e)”是指神經網絡編碼層，h^(e)是傳遞函數(shù)，W^(e)是加權矩陣，b^(e)是偏置向量；

(42)解碼器將特征信號z映射返回到估計中：

其中“(d)”表示第d網絡層，h^(d)是解碼器的傳遞函數(shù)，W^(d)是權重矩陣，b^(d)是偏置向量；

(43)建立一個代價函數(shù)來描述輸入，表示為x，與其重建之間的誤差輸出，表示為并需要控制誤差的值最小

其中代價函數(shù)E由3部分組成，第1部分是均方誤差，第2部分l*W_weights是L₂正則化，第3部分b*W_sparsity是稀疏正則化，L₂正則化系數(shù)為l，稀疏正則化系數(shù)為b，如果讓L₂正則化是：

其中L,n,k分別是訓練數(shù)據(jù)中的隱層數(shù)，觀測數(shù)和變量數(shù)，添加一個正則化來激勵稀疏項，將第i個神經元激活措施定義為：

其中n是訓練樣本數(shù)，x_j是第j個訓練樣本，w_i^(1)T和b_i⁽¹⁾分別是W⁽¹⁾的第i行，偏移向量，接下來，利用Kullback Leibler發(fā)散呈現(xiàn)稀疏正則化：

當r_i和相等，Kullback Leibler發(fā)散是0，否則，由于它們彼此偏離，發(fā)散是較大的。

2.根據(jù)權利要求1所述的一種基于自動編碼器和DTW的手繪圖人體運動檢索方法，其特征在于，所述的步驟5具體按照以下步驟實施：

(51)DTW的目的是比較兩個序列和RF^Y＝(rf₁^Y,…,rf_c^Y)之間的相似性，讓整體匹配代價為C_p(RF^X,RF^Y)：

C_P(RF^X,RF^Y)＝[d_DTW(rf_i^X,rf_j^Y)]_c×c

在RF^X和RF^Y之間的一個規(guī)整路徑p，被定義為本地代價度量，而d_DTW(rf_i^X,rf_j^Y)是rf_i^X與rf_j^Y，i,j＝1,…,c，之間的DTW，設定rf_i^X和rf_j^Y是t維向量，并且rf_i^X＝(x₁,…,x_t)和rf_j^Y＝(y₁,…,y_t)，rf_i^X和rf_j^Y之間的DTW是：

(52)RF^X和RF^Y之間的最佳規(guī)整路徑是在所有可能的規(guī)整路徑中具有最小總成本的規(guī)整路徑然后定義RF^X和RF^Y之間的距離是的總成本：

(53)為了確定最優(yōu)路徑使用動態(tài)規(guī)劃獲得最優(yōu)路徑，累積成本矩陣D滿足以下等式：

且n∈[1:c],D(1,m)＝∑^m_k＝1 d_DTW(rf₁^X,rf_k^Y)有m∈[1:c],和：

D(n,m)＝min{D(n-1,m-1),D(n-1,m),D(n,m-1)}+d_DTW(rf_n^X,rf_m^Y)，

最終優(yōu)化DTW的距離是：