[發明專利]一種基于視覺顯著性的實例人體解析方法

有效

• 申請號: 202010148744.3
• 申請日: 2020-03-05
• 公開（公告）號: CN111462149B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 汪敏;魏龍生;羅大鵬
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T5/30;G06T7/90;G06N3/0464
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 易濱

1.一種基于視覺顯著性的實例人體解析方法，其特征在于，包含如下步驟：

S1、利用顯著性檢測算法將輸入圖片中的顯著性區域檢測出來，從而獲取顯著性圖；

S2、將顯著性圖和輸入圖片相加得到人體被高亮的視覺增強圖；

S3、接下來將視覺增強圖作為網絡輸入，經過公共特征提取網絡獲取同時適用于語義分割和邊緣檢測的公用特征，在公共特征提取網絡的第3、4、5層卷積層后分別引入側輸出層，將融合后的側輸出特征圖送入人體語義分割單元中，得到人體語義分割結果圖；

S4、在公共特征提取網絡的第3、4、5層卷積層后分別引入側輸出層，將融合后的側輸出特征圖分別送入人體邊緣檢測單元，得到人體邊緣檢測結果圖；

S5、通過融合單元將人體語義分割結果圖和人體邊緣檢測進行融合，從而得到最后的人體解析結果。

2.根據權利要求1所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S1具體中所述顯著性檢測算法具體是指BMS算法。

3.根據權利要求1所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S2中將顯著性圖和輸入圖片相加得到人體被高亮的視覺增強圖，具體是采用下述公式計算得到：

S_e＝ξS_i+ηS^*，

其中，S_e是指視覺增強圖，S*表示顯著性圖,S_i表示輸入圖片，ξ和η表示權重，ξ0，η0，ξ+η＝1。

4.根據權利要求1所述的基于視覺顯著性的實例人體解析方法，其特征在于，所述公共特征提取網絡是基于ResNet-101網絡的改進，將ResNet-101網絡的第三階段和第四階段的普通卷積全部更改為空洞卷積。

5.根據權利要求1所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S3中，所述人體語義分割結果圖具體是通過下述方法得到：

在公共特征提取網絡的第3、4、5層卷積層后分別引出側輸出層，接著分別通過一個卷積層得到特征圖，共三個特征圖，然后將三個特征圖級聯，采用金字塔池化處理級聯后的特征圖，接下來再經過一個卷積層使得通道數等于物體的總類別數，再連接一個dropout層，最后增加一個卷積層進一步融合特征，得到人體語義分割結果圖T3。

6.根據權利要求1所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S4中，所述人體邊緣檢測結果圖具體是通過下述方法得到：

在公共特征提取網絡的第3、4、5層卷積層后分別引出側輸出層，在第3、4、5層卷積層后引出的側輸出層后分別增加了帶空洞卷積的金字塔池化模塊ASPP，以此產生了前三個邊緣特征圖；同時在三個側輸出層后分別通過一個1×1的卷積層來得到后三個邊緣特征圖，再將后三個邊緣特征圖級聯，在級聯融合后的特征圖后面繼續添加金字塔池化模塊，再經過一個卷積層改變通道數，使得通道數等于物體的總類別數，再連接一個dropout層，最后增加一個卷積層進一步融合特征，從而得到人體邊緣檢測結果圖T4。

7.根據權利要求6所述的基于視覺顯著性的實例人體解析方法，其特征在于，所述帶空洞卷積的金字塔池化模塊ASPP包括依次連接的一個1×1卷積和四個3×3空洞卷積，其擴張率分別為2、4、8和16。

8.根據權利要求6所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S5中，進行融合的方法如下：

將人體語義分割單元所得到的人體語義分割結果圖T3、人體語義分割單元中dropout前的特征圖、人體邊緣檢測單元所得到的人體邊緣檢測結果圖T4以及人體邊緣檢測單元中dropout前的特征圖級聯，然后通過一個1×1卷積將級聯后的特征圖映射為更大數量通道的特征圖，將映射后的特征圖再次送入金字塔池化模塊中，以相互促進分割和邊緣檢測的結果，再連接一個dropout層，最后增加一個卷積層進一步融合特征，最后即得到實例人體解析結果圖T5。

9.根據權利要求8所述的基于視覺顯著性的實例人體解析方法，其特征在于，步驟S5中，進行融合所采用的公式如下:

式中，α和β分別為分割和邊緣檢測所占的權重，L_s和L'_s分別是人體語義分割單元得到的人體語義分割結果圖和dropout前的特征圖經過softmax以及交叉熵損失函數所得到的損失值，L_e和L'_e則是人體邊緣檢測單元得到的人體邊緣檢測結果圖和dropout前的特征圖經過softmax以及交叉熵損失函數所得到的損失值，L_side是前三個邊緣特征圖經過sigmoid激活函數以及二進制交叉熵損失函數得到的損失值，其中N＝3。