[發(fā)明專利]一種基于自動(dòng)編碼器和DTW的手繪圖人體運(yùn)動(dòng)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710377338.2
• 申請(qǐng)日: 2017-05-25
• 公開（公告）號(hào): CN107169117B
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 肖秦琨;楚超勤;高嵩
• 申請(qǐng)（專利權(quán)）人: 西安工業(yè)大學(xué)
• 主分類號(hào): G06F16/783
• 分類號(hào): G06F16/783;G06K9/00;G06K9/62;G06T7/11;G06T7/246;G06T7/90
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 胡燕恒

本發(fā)明公開的一種基于自動(dòng)編碼器和DTW的手繪圖人體運(yùn)動(dòng)檢索方法，包括：使用相應(yīng)設(shè)備拍攝單目視頻，構(gòu)建N個(gè)類別的動(dòng)態(tài)人體運(yùn)動(dòng)序列數(shù)據(jù)庫(kù)及M個(gè)類別人體運(yùn)動(dòng)骨架手繪圖序列數(shù)據(jù)庫(kù)；提取視頻V⁽¹⁾的每幀圖像，通過背景差分和膚色模型獲取出f_ij中運(yùn)動(dòng)輪廓，通過人體骨架提取法獲得運(yùn)動(dòng)骨架；通過系統(tǒng)學(xué)習(xí)獲取基于聚類的代表性幀圖像數(shù)據(jù)庫(kù)D_RF；代表性的幀圖像數(shù)據(jù)庫(kù)D_RF通過使用自動(dòng)編碼器提取人體骨胳運(yùn)動(dòng)圖像特征；代表幀提取和相似性距離匹配，根據(jù)相似距離順序獲得最優(yōu)路徑檢索結(jié)果，本發(fā)明提出將基于DTW的匹配與統(tǒng)計(jì)運(yùn)動(dòng)匹配相結(jié)合以提高運(yùn)動(dòng)匹配的性能和效率，基于優(yōu)化的代表性識(shí)別特征通常比原始無序描述符具有更好的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于運(yùn)動(dòng)捕捉動(dòng)畫技術(shù)領(lǐng)域，具體涉及一種基于自動(dòng)編碼器和DTW的手繪圖人體運(yùn)動(dòng)檢索方法。

背景技術(shù)

近年來，計(jì)算機(jī)動(dòng)畫在各種應(yīng)用中日益普及。計(jì)算機(jī)動(dòng)畫對(duì)人體運(yùn)動(dòng)的應(yīng)用尤為重要。這已經(jīng)導(dǎo)致了一個(gè)高的需求對(duì)于制作非常逼真的人類運(yùn)動(dòng)表征。已經(jīng)形成了多種方法來產(chǎn)生人體運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)捕獲(MoCap)是一種眾所周知的方法。運(yùn)動(dòng)捕獲設(shè)備的可用性越來越多，驅(qū)動(dòng)了大規(guī)模的人體和物體運(yùn)動(dòng)數(shù)據(jù)庫(kù)的發(fā)展。然而，隨著各種運(yùn)動(dòng)數(shù)據(jù)的增長(zhǎng)，搜索滿足特定要求的合適的運(yùn)動(dòng)是一件困難的事情。因此，運(yùn)動(dòng)檢索最近成為在運(yùn)動(dòng)捕捉動(dòng)畫領(lǐng)域的主要研究重點(diǎn)。

在文獻(xiàn)中已經(jīng)提出了一些運(yùn)動(dòng)檢索方法，其中許多是由現(xiàn)有的音頻檢索方法修改，如動(dòng)態(tài)時(shí)間規(guī)整(DTW)方法。為了支持索引和提高DTW的檢索性能，基于均勻縮放(US)的算法已被提出。一種基于DTW和典型相關(guān)分析(CCA)擴(kuò)展的方法，被稱為廣義的典型時(shí)間規(guī)整(GCTW)，已被提出用于調(diào)整多模態(tài)序列。除了基于DTW的方法，其它方法尋求邏輯上類似的運(yùn)動(dòng)匹配。例如，已經(jīng)開發(fā)了用于呈現(xiàn)運(yùn)動(dòng)的模板，以及提出使用模板匹配的運(yùn)動(dòng)搜索。此外，幾何特征已被用來構(gòu)建索引樹，使用聚類和分割，然后提出根據(jù)峰值點(diǎn)進(jìn)行動(dòng)作匹配。但上述運(yùn)動(dòng)檢索方法有以下不足：

(1)動(dòng)態(tài)時(shí)間規(guī)整(DTW)方法，由于這種類型的數(shù)據(jù)的屬性和參數(shù)數(shù)量大，通常證明了DTW對(duì)運(yùn)動(dòng)捕獲數(shù)據(jù)的應(yīng)用有效率低的表現(xiàn)。

(2)均勻縮放(US)的算法，基于均勻縮放的方法通常具有較高的計(jì)算成本。

(3)使用模板匹配的運(yùn)動(dòng)搜索和聚類和分割等方法來根據(jù)峰值點(diǎn)進(jìn)行動(dòng)作匹配，但是不能區(qū)分緊密匹配的運(yùn)動(dòng)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于自動(dòng)編碼器和DTW的手繪圖人體運(yùn)動(dòng)檢索方法，克服了現(xiàn)有方法較高的計(jì)算成本，運(yùn)動(dòng)捕獲數(shù)據(jù)較低的應(yīng)用效率和對(duì)緊密匹配的運(yùn)動(dòng)的檢索不能區(qū)分到位的問題。

本發(fā)明采用的技術(shù)方案是，一種基于自動(dòng)編碼器和DTW的手繪圖人體運(yùn)動(dòng)檢索方法，具體按照以下步驟實(shí)施：

步驟1：使用相應(yīng)設(shè)備拍攝單目視頻，拍攝速度為30幀每秒，構(gòu)建有N個(gè)類別的動(dòng)態(tài)人體運(yùn)動(dòng)序列數(shù)據(jù)庫(kù)V⁽¹⁾＝(V₁⁽¹⁾，...，V_N⁽¹⁾)及M個(gè)類別人體運(yùn)動(dòng)骨架手繪圖序列數(shù)據(jù)庫(kù)V⁽²⁾＝(V₁⁽²⁾，...，V_M⁽²⁾)；

步驟2：提取視頻V⁽¹⁾的每幀圖像，得到幀圖像F_i＝(f_i1,...,f_in)，其中n表示視頻V⁽¹⁾的幀數(shù)，對(duì)f_ij進(jìn)行預(yù)處理，通過背景差分和膚色模型獲取出f_ij中運(yùn)動(dòng)輪廓，通過人體骨架提取法獲得運(yùn)動(dòng)骨架；

步驟3：通過系統(tǒng)學(xué)習(xí)獲取基于模糊c-均值聚類的代表性幀圖像數(shù)據(jù)庫(kù)D_RF；