[發明專利]一種基于多模態圖像聯邦分割的數據增廣方法及系統

在審

• 申請號: 202310284567.5
• 申請日: 2023-03-22
• 公開（公告）號: CN116580188A
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 班曉娟;胡陳菲;馬博淵;印象
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/82;G06V10/80;G06V20/70;G06F21/60;G06F21/62
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于多模態圖像聯邦分割的數據增廣方法，其特征在于，所述方法由基于多模態圖像聯邦分割的數據增廣系統實現，所述基于多模態圖像聯邦分割的數據增廣系統包括一個匯總節點和多個參與節點；

所述方法包括：

S1、所述匯總節點向每個參與節點下發控制信息對，所述控制信息對由每個參與節點的域向量和分割標簽組成；

S2、所述匯總節點與每個參與節點各自構建初始模態生成分割網絡模型；

S3、每個參與節點將本地樣本圖像、本地樣本圖像對應的真實標注以及控制信息對輸入各自的初始模態生成分割網絡模型，對初始模態生成分割網絡模型的網絡參數進行訓練，得到初始模態生成分割網絡模型的中間網絡參數；

S4、每個參與節點將中間網絡參數傳輸至所述匯總節點，所述匯總節點對多個參與節點的中間網絡參數進行聯邦平均，得到合并網絡參數，所述匯總節點將合并網絡參數回傳給每個參與節點；

S5、迭代執行S3-S4，直到迭代次數達到預設閾值，完成訓練；

S6、每個參與節點根據訓練好的模態生成分割網絡模型生成多模態生成圖像，進行數據增廣。

2.根據權利要求1所述的方法，其特征在于，所述初始模態生成分割網絡模型包括一個初始可控模態生成網絡和一個初始模態分割網絡；

所述S3的每個參與節點將本地樣本圖像、本地樣本圖像對應的真實標注以及控制信息對輸入各自的初始模態生成分割網絡模型，對初始模態生成分割網絡模型的網絡參數進行訓練，得到初始模態生成分割網絡模型的中間網絡參數，包括：

S31、每個參與節點向初始可控模態生成網絡輸入本地樣本圖像以及控制信息對；其中，每個參與節點的本地樣本圖像都具備各自的模態風格，所述模態風格指由于信號采集原理和目標物理性質不同導致圖像中具有某種特定的顏色紋理分布；

S32、通過所述初始可控模態生成網絡，根據控制信息對的域向量和分割標簽、以及本地樣本圖像，生成多模態生成圖像；

S33、將所述多模態生成圖像輸入到初始模態分割網絡，對所述多模態生成圖像進行分割，得到預測分割結果；

S34、根據多模態生成圖像、所述本地樣本圖像對應的真實標注、預測分割結果以及聯合損失函數，確定初始模態生成分割網絡模型的中間網絡參數。

3.根據權利要求2所述的方法，其特征在于，所述初始可控模態生成網絡包括可控圖像生成器和多尺度圖像判別器，所述可控圖像生成器包括全局生成網絡和局部強化網絡；

所述S32的通過所述初始可控模態生成網絡，根據控制信息對的域向量和分割標簽、以及本地樣本圖像，生成多模態生成圖像，包括：

S321、通過所述全局生成網絡，根據控制信息對的域向量和分割標簽、以及本地樣本圖像，得到初始生成圖像；

S322、將所述初始生成圖像輸入到所述局部強化網絡，生成所述本地樣本圖像對應的擴大的實景圖像，即為多模態生成圖像；

S323、通過所述多尺度圖像判別器判別所述實景圖像是真實圖像還是多模態生成圖像。

4.根據權利要求3所述的方法，其特征在于，所述全局生成網絡包括第一降采樣模塊、第一特征加工模塊以及上采樣模塊；

S321的通過所述全局生成網絡，根據控制信息對的域向量和分割標簽、以及本地樣本圖像，得到初始生成圖像，包括：

將本地樣本圖像輸入降采樣模塊中，得到第一特征圖；其中，所述降采樣模塊的第一層是大小為7×7的卷積塊，第一層之后是4個連續的降采樣層；

將所述第一特征圖與控制信息對的域向量輸入特征加工模塊，得到第二特征圖；其中，所述特征加工模塊由9個步長為1的殘差塊和風格遷移模塊組成；

將第二特征圖輸入上采樣模塊，得到初始生成圖像；其中，所述初始生成圖像包括4個連續的反卷積上采樣層、大小為3的鏡像填充、7×7的卷積塊和tanh激活函數。