[發明專利]一種多視角人體部件語義匹配方法和裝置在審

申請號：	201410355709.3	申請日：	2014-07-24
公開（公告）號：	CN104103075A	公開（公告）日：	2014-10-15
發明（設計）人：	賈慶軒;李旭龍;宋荊洲;高欣	申請（專利權）人：	北京郵電大學
主分類號：	G06T7/00	分類號：	G06T7/00;G06T7/20;G06F17/27
代理公司：	暫無信息	代理人：	暫無信息
地址：	100876 ***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種視角人體部件語義匹配方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于多視角圖像采集設備下人體部件檢測結果，能夠自動進行人體部件語義匹配的方法和裝置。

背景技術

計算機視覺領域主要研究圖像的獲取、處理、分析和理解。分析和理解圖像中的人體運動，對于眾多人工智能應用有著重要的意義。三維人體姿態估計就是這一研究領域中的熱點之一，它指的是通過對傳感器采集的數據進行分析和處理，獲得三維空間中可重現的三維人體關節點位置信息。

多視角方式是常見的人體運動圖像采集方法，多視角方式通常基于兩個或兩個以上相機進行人體運動圖像數據的采集，并通過不同圖像之間的時空語義對應關系，通過提取多視角中的圖像特征，從中分析三維人體運動數據。由于使用了多角度數據，多視角方式獲取了更多的三維信息，而且通過增加視角個數，施加透視投影圖像約束，可以減小甚至消除姿態估計中的歧義問題。同時，多視角方式可以應用于戶外復雜的自然場景下，可以對高速的人體運動進行數據采集和姿態估計。因此，多視角方式是一種具有多種應用優勢和研究價值的無標記非接觸式人體運動數據采集方式。

然而，為了構建多視角下三維人體姿態，需要已知單視角下二維人體部件檢測結果和多視角間人體關節點或人體部件的語義對應關系，即除了需要已知各個視角下的二維人體部件的像素坐標位置，還需要知道多視角間各個關節點或部件一一對應關系。與此同時，由于人體部件的對稱性和人體的高度靈活性，在建立多視角間的二維人體部件對應關系時，人體部件的語義信息較難識別，特別是由于人體存在多組對稱性的部件或關節點，其左右語義標簽建立較為困難。實際上在常見的二維姿態方法，如圖報模型、混合部件模型等方法，僅能識別圖像平面內的人體關節點或部件，并不能和真實的身體部件或關節點左右語義標簽相對應。因此，對于對稱性人體部件或關節點，現有的二維姿態估計方法不能建立多視角之間的人體部件的語義對應關系，也不能建立多視角人體部件與真實人體部件的語義對應關系，如何基于二維人體姿態檢測和估計結果，即人體部件的像素位置信息，建立多視角間的人體部件的語義對應關系是當前必須解決的一個關鍵問題。

發明內容

有鑒于此，本發明的目的在于提供一種多視角人體部件語義匹配方法和裝置，基于二維人體部件檢測結果，建立多視角間的人體部件的語義對應關系。

首先，初始化，初始化二維人體關節點數據，將原始的多視角人體關節點結果進行語義合并和語義重構，重構為人體部件圖模型；

其次，時間域人體部件語義匹配，基于上述人體部件圖模型，通過計算人體部件圖模型的時間域節點-節點關聯矩陣，通過關聯矩陣度量函數，建立多視角間的人體部件語義的時間域匹配關系。

第三，基于上述時間域匹配關系，計算多視角下人體姿態在Z向軌跡值，通過Z向軌跡值為特征進行分類，建立多視角間的人體部件語義的空間匹配關系，實現人體部件的時空一致性匹配。

為達到以上目的，本發明的技術方案是：

一種二維人體部件語義匹配方法，該方法包括：

(1)初始化：用于初始化數據和模型，包括人體關節點數據預處理、人體部件圖模型重構。

(2)二維人體部件時間域匹配：用于建立時間域人體部件的關聯關系，包括時間域節點-節點關聯矩陣計算、時間域匹配計算。

(3)二維人體部件空間域匹配：用于建立空間域人體部件的關聯關系，包括Z向軌跡特征計算、人體部件特征圖模型構造、空間域匹配計算。

一種二維人體部件語義匹配裝置，該裝置包括：

(1)初始化單元：用于初始化數據和模型，包括人體關節點數據預處理單元、人體部件圖模型重構單元。