[發明專利]一種基于對偶條件相容神經網絡的圖像分割方法、裝置

有效

• 申請號: 202110554338.1
• 申請日: 2021-05-20
• 公開（公告）號: CN113298774B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 莊嚇海;張可
• 申請（專利權）人: 復旦大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 丁云

1.一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，該方法包括如下步驟：

S1：獲取與待分割圖像結構模態相同的具有部分標簽的圖像數據作為訓練數據；

S2、構建主分割網絡和對偶分割網絡，所述的主分割網絡和對偶分割網絡的輸入包括目標數據以及提供條件先驗的部分標注數據，所述的主分割網絡和對偶分割網絡的輸出為目標數據的分割結果；

S3、分別確定主分割網絡和對偶分割網絡的損失函數，包括相容性損失和成對損失，所述的相容性損失表征目標數據的分割結果和目標數據的部分標簽之間的差異，所述的成對損失表征目標數據的分割結果和提供條件先驗的部分標注數據之間的差異；

S4、利用訓練數據訓練主分割網絡和對偶分割網絡；

S5、進行圖像分割：將待分割圖像作為目標數據，將目標數據及提供條件先驗的部分標注數據輸入到主分割網絡中，輸出分割結果。

2.根據權利要求1所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，步驟S4訓練主分割網絡和對偶分割網絡包括：

隨機選取訓練數據中一張具有部分標簽的圖像數據的原始圖像作為主分割網絡的目標數據，選取訓練數據中m對具有部分標簽的圖像數據作為m對提供條件先驗的部分標注數據，第j對提供條件先驗的部分標注數據為分割類別j提供條件先驗，每一對提供條件先驗的部分標注數據分別包括原始圖像以及對應分割類別的標注數據，j＝1，2，……，m，m為待分割的總類別數；

隨機選取主分割網絡中m對提供條件先驗的部分標注數據中的任意一對數據，設該對數據為分割類別x提供條件先驗，將該對數據中的原始圖像作為對偶分割網絡的目標數據，將主分割網絡中對于分割類別x的分割結果與主分割網絡的目標數據組成一對并作為對偶分割網絡中的一對提供條件先驗的部分標注數據，將主分割網絡中除去為分割類別x提供條件先驗的其他m-1對提供條件先驗的部分標注數據也一并作為對偶分割網絡中的提供條件先驗的部分標注數據，x為m種分割類別中的任意一種。

3.根據權利要求1所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，步驟S4訓練過程中先單獨迭代訓練主分割網絡，之后用主分割網絡的參數初始化對偶分割網絡，并固定對偶分割網絡的參數，循環迭代訓練。

4.根據權利要求1所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，所述的相容性損失采用相容性交叉熵損失表示，具體為：

其中，y_i，2j為目標數據中分割類別j與提供分割類別j的條件先驗的標注數據相交部分的實際值，為目標數據中分割類別j與提供分割類別j的條件先驗的標注數據相交部分的預測值，y_i，2j+1為目標數據中分割類別j與提供分割類別j的條件先驗的標注數據差異部分的實際值，為目標數據中分割類別j與提供分割類別j的條件先驗的標注數據差異部分的估計值，表示在Cond(i，j)成立時對相交部分計算交叉熵損失，表示在Cond(i，j)成立時對差異部分計算交叉熵損失，i表示第i個像素，K表示像素的總數，m為待分割的總類別數，Cond(i，j)等價于c(x_i)表示第i個像素x_i所屬的標簽類別，c_j表示第j個標簽類別，c_q表示標簽類別的集合，表示空集。

5.根據權利要求4所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，所述的成對損失表示為

其中，表示條件先驗數據像素標簽向量的第j分量。

6.根據權利要求4所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，所述的y_i，2j、通過下式得到：

其中，表示目標數據實際像素標簽向量的第j分量，表示條件先驗數據像素標簽向量的第j分量，表示目標數據預測像素標簽向量的第j分量。

7.根據權利要求6所述的一種基于對偶條件相容神經網絡的圖像分割方法，其特征在于，所述的y_i，2j+1、通過下式得到：