[發明專利]基于變形卷積的人體姿態估計方法

有效

• 申請號: 201810874533.0
• 申請日: 2018-08-03
• 公開（公告）號: CN109376571B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 高新波;竇睿翰;路文;孫曉鵬;何立火;郭兆騏
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 程曉霞;王品華

1.一種基于變形卷積的人體姿態估計方法，其特征在于，包括如下步驟：

(1)獲取訓練圖像：

(1a)使用目標檢測網絡Mask RCNN對包含人物圖像進行檢測，針對人物目標進行檢測，分離人物個體，返回個體圖像的邊界框；

(1b)裁剪邊界框，獲得人物個體圖像，在圖像周圍恒值填充，使其變為正方形圖像，作為訓練圖像并對關節點進行標注，標注關節點位置的坐標；

(2)制作關節點熱圖：

(2a)獲取針對訓練圖像的標注，即訓練圖像中關節點坐標，針對每一個關節點，以其坐標為中心生成一張對應的高斯熱圖，針對在圖像中缺失的關節點，生成空圖；

(2b)按照一定順序排列熱圖，順序確定之后，所有熱圖的排序必須與其保持一致；

(3)構建變形卷積前向傳播模塊：變形卷積前向傳播模塊在整個網絡中作為變形卷積層，與普通卷積類似，輸入與輸出都是特征圖，變形卷積模塊根據內部操作不同分為兩種，一種為變形卷積核的變形卷積模塊，另一種為變形特征圖的變形卷積模塊；

其中，變形特征圖的變形卷積模塊，其前向傳播步驟如下：

3.3，將變形特征圖的變形卷積模塊的輸入特征圖輸入偏置卷積，獲得偏置卷積輸出的輸入特征圖的偏置特征圖，輸入特征圖的偏置特征圖的大小是H×W，其中H和W分別是輸入特征圖的高和寬，偏置特征圖的通道數為2n_c，n_c為輸入通道數，偏置特征圖包含對于輸入每個通道中的特征圖上每個點的兩個軸的偏置Δp₀；

3.4，根據輸入特征圖的偏置特征圖中的偏置Δp₀獲得變形卷積輸出y，在p₀點處輸出的特征y(p₀)為

其中p₀代表輸出特征圖上每一個像素的位置和輸入特征圖x中對應的位置，R是一個平卷積的卷積核的方塊網格，是p_n的取值范圍，它規定了卷積時哪些像素通過加權輸出，對于一個3×3稀釋率為1的卷積核來說，它的方塊網格為R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}，p_n為R中的點，p_n代表的是與p₀位置有關的相對位置，x(p₀+p_n+Δp_n)是輸入特征圖上的特征，w中包含有可以訓練的權值；

因為p＝(p₀+Δp₀+p_n)不一定在整數性坐標上，需要雙線性插值的方式獲得輸入特征圖上的特征x(p)：

其中G(·,·)為雙線性插值核，G是二維的，被分解成兩個一維的核相乘

G(q,p)＝g(q_x,p_x)·g(q_y,p_y)

其中一維的核g(a,b)＝max(0,1-|a-b|)；

(4)構建殘差塊和搭建帶有變形殘差塊網絡結構的多尺度沙漏形網絡：實際操作中根據計算能力和應用需求選擇兩種變形卷積模塊中的一種作為變形卷積層，利用普通卷積層和變形卷積層構建兩種殘差塊，一種是普通殘差塊，其中只包含普通卷積層，另一種是變形殘差塊，其中包含變形卷積層，利用兩種殘差塊，搭建帶有變形殘差塊網絡結構的多尺度沙漏形網絡；

(5)訓練堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡：

(5a)構建預處理模塊和中繼監督模塊：構建放置在網絡最前端的預處理模塊和連接帶有變形殘差塊網絡結構的多尺度沙漏形網絡并輸出整體網絡輸出的中繼監督模塊；

(5b)堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡：連接帶有變形殘差塊網絡結構的多尺度沙漏形網絡形成堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡，整個堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡的前向傳播過程先經過在網絡最前端的預處理模塊，然后經過多個串聯起來的帶有變形殘差塊網絡結構的多尺度沙漏形網絡及其后的中繼監督模塊的級聯組合，每一個帶有變形殘差塊網絡結構的多尺度沙漏形網絡后中繼監督模塊都有兩支輸出，一支輸出即整個網絡的輸出，另一支輸出是連接到下一級的帶有變形殘差塊網絡結構的多尺度沙漏形網絡上，依據姿態估計精度要求和計算資源的情況決定堆疊起來的帶有變形殘差塊網絡結構的多尺度沙漏形網絡的數量；

(5c)訓練網絡準備：把訓練圖像調整尺寸適應堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡的輸入，把對應的熱圖調整尺寸使其與堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡輸出一致，作為每個中繼監督模塊輸出的整個網絡的輸出的標簽；

(5d)訓練帶有變形殘差塊網絡結構的多尺度沙漏形網絡：訓練中使用整個網絡輸出和標簽的交叉熵作為網絡反向傳播的損失函數，訓練完成后，獲得實現圖像到熱圖組的端對端網絡；

(6)獲取姿態估計結果：

(6a)把需要進行人體姿態估計的圖片輸入訓練好的堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡獲取人體關節點對應熱圖，熱圖上每一個點的數值即關節點在該點的置信度，熱圖峰值點的坐標作為關節點坐標；

(6b)設置置信度閾值，當熱圖中每一個點的置信度都低于閾值，認為該圖像中沒有對應的關節點出現；

(6c)按照人體鉸鏈模型連接關節點，獲得人體個體全局的姿態估計結果。