[發明專利]基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法及系統

在審

• 申請號: 202111415766.2
• 申請日: 2021-11-25
• 公開（公告）號: CN115131366A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 王瑜;段逸凡;肖洪兵
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/08;G06V10/82;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法，其特征在于：分為基于生成式對抗網絡的數據合成框架和基于半監督領域自適應的半監督學習框架兩部分，利用數據合成框架通過對抗性損失保留高頻細節生成新的多模態小目標合成圖像；利用半監督學習框架通過多模態學習和附加模態先驗知識的無監督領域自適應對模型進行訓練與優化，得到全自動分割模型對多模態小目標圖像進行全自動分割，包括以下步驟：

輸入待分割多模態小目標圖像數據；

將跨模態數據輸入數據合成框架對網絡進行訓練與優化；

生成多模態小目標合成圖像；

劃分數據集：有標簽圖像數據集、標簽圖像數據集和無標簽圖像數據集；

將圖像數據集輸入半監督領域自適應框架對網絡進行訓練與優化；

獲得多模態小目標圖像全自動分割模型；以及

全自動分割模型輸出圖像分割結果。

2.根據權利要求1所述的一種基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法，其特征在于：基于生成式對抗網絡的數據合成框架使用圖像到圖像轉換的對抗性損失函數來捕獲可靠的高頻紋理信息，生成新的多模態小目標合成圖像，包括以下步驟：

輸入待分割多模態小目標圖像數據；

將多模態小目標圖像數據集輸入數據合成框架中的pGAN網絡；

同時訓練生成模型與判別模型；

將其他多模態背景圖像數據集輸入生成模型生成多模態小目標合成圖像。

3.根據權利要求1所述的一種基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法，其特征在于：基于半監督領域自適應的半監督學習框架利用多模態學習和附加模態先驗知識的無監督領域自適應方法訓練，有效地利用來自所有三個數據資源的信息并全面整合它們，通過有標簽的多對比度圖像的知識蒸餾像素損失和無標簽圖像的循環一致性損失提供了增強的合成性能，包括以下步驟：

劃分數據集：有標簽數據集D_s、標簽數據集D_t、無標簽數據集D_u；

訓練半監督領域自適應框架：域間教師模型、域內教師模型和學生模型；

獲得多模態小目標圖像全自動分割模型，輸出分割結果。