[發明專利]一種基于語義輪廓信息的圖像分割方法、設備和存儲介質

有效

• 申請號: 201811102199.3
• 申請日: 2018-09-20
• 公開（公告）號: CN110930427B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 黃永禎;劉旭;曹春水;徐萬里
• 申請（專利權）人: 銀河水滴科技（北京）有限公司
• 主分類號: G06T7/149
• 分類號: G06T7/149
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 陳英

1.一種基于語義輪廓信息的圖像分割方法，其特征在于，包括：

利用輪廓檢測器對應的第一訓練集，對所述輪廓檢測器進行訓練；

利用神經網絡對應的第二訓練集，對所述神經網絡進行訓練；

所述第一訓練集包括：第一訓練圖像及其對應的監督圖像；

所述第二訓練集包括：第二訓練圖像及其對應的邊界框監督信息、類別監督信息、分割監督圖像和輪廓監督圖像；

獲取待分割圖像的語義輪廓圖像，包括：

將待分割圖像輸入所述輪廓檢測器，獲取所述待分割圖像的語義輪廓圖像；

利用所述語義輪廓圖像對所述待分割圖像進行圖像分割，獲得所述待分割圖像中的目標對象的分割圖像，包括：

將所述待分割圖像和所述語義輪廓圖像合并輸入到用于分割目標對象的所述神經網絡，使所述神經網絡利用所述語義輪廓圖像對所述待分割圖像進行圖像分割，獲得所述待分割圖像中的目標對象的分割圖像。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

利用所述語義輪廓圖像對所述待分割圖像進行圖像分割，獲得所述待分割圖像中的目標對象對應的邊界框信息和/或目標對象所屬類別的信息。

3.根據權利要求1所述的方法，其特征在于，將所述待分割圖像和所述語義輪廓圖像合并輸入到用于分割目標對象的神經網絡，包括：

將所述待分割圖像和所述語義輪廓圖像以通道并聯的方式輸入到用于分割目標對象的神經網絡。

4.根據權利要求1所述的方法，其特征在于，

所述第二訓練圖像是將第一訓練圖像和所述第一訓練圖像對應的語義輪廓圖像合并后得到的。

5.根據權利要求1所述的方法，其特征在于，利用所述神經網絡對應的第二訓練集，對所述神經網絡進行訓練，包括：

在每次訓練時，將一張第二訓練圖像輸入所述神經網絡，獲得目標對象對應的邊界框預測信息、類別預測信息、分割預測圖像和輪廓預測圖像；

利用所述第二訓練圖像對應的邊界框監督信息、類別監督信息、分割監督圖像和輪廓監督圖像，分別對應確定所述邊界框預測信息、所述類別預測信息、所述分割預測圖像和所述輪廓預測圖像的損失程度；

如果在連續多次的訓練中，所述邊界框預測信息、所述類別預測信息、所述分割預測圖像和所述輪廓預測圖像的損失程度都符合預設的收斂條件，則判定所述神經網絡已經收斂，結束對所述神經網絡的訓練。

6.根據權利要求5所述的方法，其特征在于，在結束對所述神經網絡的訓練之后，還包括：

消除所述神經網絡中用于輸出輪廓預測圖像的分支。

7.根據權利要求1所述的方法，其特征在于，在利用所述神經網絡對應的第二訓練集，對所述神經網絡進行訓練之前，還包括：

在第二訓練圖像中標注出目標對象區域；

在所述目標對象區域中，識別邊界像素點；

對所述邊界像素點形成的邊界線進行高斯濾波，得到目標對象的輪廓分布熱度圖，將所述輪廓分布熱度圖作為所述目標對象的輪廓監督圖像。

8.根據權利要求1～7中任一項所述的方法，其特征在于，

所述輪廓檢測器為HED輪廓檢測器；和/或，所述神經網絡為Mask RCNN神經網絡。

9.一種基于語義輪廓信息的圖像分割設備，其特征在于，所述基于語義輪廓信息的圖像分割設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1～8中任一項所述的基于語義輪廓信息的圖像分割方法的步驟。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有基于語義輪廓信息的圖像分割程序，所述基于語義輪廓信息的圖像分割程序被處理器執行時實現如權利要求1～8中任一項所述的基于語義輪廓信息的圖像分割方法的步驟。