[發明專利]一種融合空洞卷積和邊緣信息的實例分割方法

有效

• 申請號: 201910490237.5
• 申請日: 2019-06-06
• 公開（公告）號: CN110348445B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 韓守東;劉昱均;鄭麗君;夏晨斐
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/00
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

1.一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，包括：

(1)建立實例分割模型；

所述實例分割模型包括依次連接的特征金字塔提取網絡、感興趣區域提取網絡、初步分割網絡和邊緣檢測網絡；

所述特征金字塔提取網絡包括第一特征提取網絡、第二特征提取網絡和混合空洞卷積層；所述第一特征提取網絡，用于對輸入圖像自下而上逐層卷積，得到不同尺寸的特征圖；所述第二特征提取網絡，用于對所述第一特征提取網絡的最頂層特征圖進行上采樣，并與所述第一特征提取網絡的次高層特征圖進行相加，形成特征金字塔的一層，自頂向下的逐層構建所述特征金字塔的各層；所述混合空洞卷積層，用于對所述特征金字塔的頂層特征圖進行混合空洞卷積；

所述感興趣區域提取網絡，用于對所述特征金字塔各層感興趣區域進行提取和篩選，并將篩選出的感興趣區域和特征金字塔中對應層的特征圖進行對齊；

所述初步分割網絡，用于對特征金字塔各層中經過對齊的感興趣區域進行圖像分類、位置回歸和圖像分割；

所述邊緣檢測網絡，用于對所述圖像分割結果進行邊緣檢測，得到最終的圖像分割結果；

(2)實例分割模型訓練；

對圖像中設定類別的像素點、與所述設定類別對應的目標位置及相同類別的不同實例進行標注，并將標注的圖像作為訓練集輸入所述實例分割模型進行端到端的訓練，得到訓練好的實例分割模型；

(3)實例分割；

將待測圖像輸入訓練好的實例分割模型，得到圖像中每個實例的分類、位置和分割結果。

2.根據權利要求1所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述特征金字塔提取網絡為基于Resnet-50的FPN。

3.根據權利要求1或2所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述混合空洞卷積層包括四個擴張率不同的空洞卷積，依次對所述特征金字塔的頂層特征圖進行混合空洞卷積。

4.根據權利要求3所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述四個空洞卷積的擴張率分別為2、1、2和3。

5.根據權利要求1所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述邊緣檢測網絡包括用于描述水平梯度的橫向濾波器和用于描述垂直梯度的縱向濾波器。

6.根據權利要求5所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述橫向濾波器和縱向濾波器分別為：

其中，S_x為橫向濾波器；S_y為縱向濾波器。

7.根據權利要求1所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述感興趣區域提取網絡包括，區域提議網絡RPN和感興趣區域對齊單元；

所述區域提議網絡RPN包括級聯的多個相同單元，每個單元包括依次連接的卷積層、ReLU激活層、歸一化層和最大池化層；

所述區域提議網絡RPN，用于對所述特征金字塔各層感興趣區域進行提取和篩選；

所述感興趣區域對齊單元，用于將篩選出的感興趣區域和特征金字塔中對應層的特征圖進行對齊。

8.根據權利要求1所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述實例分割模型的損失函數包括邊緣損失函數。

9.根據權利要求8所述的一種融合空洞卷積和邊緣信息的實例分割方法，其特征在于，所述邊緣損失函數為：

其中，y為邊緣檢測結果，為目標真實邊緣，M_p為邊緣檢測結果與目標真實邊緣之間的p次冪平均誤差。