[發明專利]一種掩碼變形方法及其掩碼形變網絡的訓練方法

在審

• 申請號: 202210991817.4
• 申請日: 2022-08-17
• 公開（公告）號: CN115424110A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 靖偉;蘇思桐;范康;俞再亮;劉玉;宋井寬
• 申請（專利權）人: 之江實驗室;電子科技大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 陳澤斌

1.一種掩碼變形方法，其特征在于，包括以下步驟：

A1、將源域的實例掩碼和目標域標簽輸入預先訓練好的掩碼形變網絡；所述掩碼形變網絡包括編碼器和生成器；

A2、所述掩碼形變網絡，按如下步驟對掩碼進行變形：

A21、將源域的所有實例掩碼進行聚合，獲得源域掩碼；通過編碼器，對源域掩碼進行特征提取，獲得源域掩碼的整體特征F_img；將源域的各實例掩碼分別與整體特征F_img進行融合，獲得對應各實例掩碼的實例掩碼特征F_mask(i)；然后，對目標域的標簽信息進行特征編碼，再將目標域標簽信息的特征編碼分別嵌入各實例的掩碼特征F_mask(i)；

A22、分別將各個融合了標簽信息特征編碼的實例掩碼特征，輸入生成器，并將生成器最終輸出的目標域生成掩碼作為對應目標域的實例掩碼。

2.如權利要求1所述的一種掩碼變形方法，其特征在于：

所述掩碼形變網絡的編碼器為多層的卷積神經網絡，并通過矩陣點乘，將源域的實例掩碼與整體特征F_img進行融合；

對目標域的標簽信息通過獨熱編碼的方式，進行特征編碼，并通過矩陣乘法，將實例掩碼特征F_mask(i)與目標域標簽信息的特征編碼進行融合；或者，通過卷積神經網絡對目標域的標簽信息進行編碼，然后將實例掩碼特征F_mask(i)與目標域標簽信息的特征編碼進行拼接。

3.如權利要求1所述的一種掩碼變形方法，其特征在于：

所述掩碼形變網絡的生成器，包括多層殘差神經網絡和多層卷積神經網絡；首先，由多層殘差神經網絡將輸入的融合了標簽信息的實例掩碼特征F_mask(i)進行縮放，使其與多層卷積神經網絡的輸入維度相匹配，然后，再由多層卷積神經網絡進行解碼，生成目標域生成掩碼；多層卷積神經網絡的層間通過上采樣進行放大，使得最終輸出與源域圖像具有相同尺寸。

4.如權利要求1、2或3任一項所述一種掩碼變形方法的掩碼形變網絡的訓練方法，其特征在于，所述掩碼形變網絡，按如下步驟進行訓練：

B1、訓練樣本數據準備：

從數據集采集掩碼，以前景所屬類別定義域，基于所構建的域進行兩兩組合構建樣本對，每一樣本對包含兩個域，其中一個域作為源域、另一個域作為目標域，在所有的樣本對中，所構建的每一個域至少分別作為一次目標域；

B2、對掩碼形變網絡進行訓練：

B21、輸入包括待翻譯任務所指定源域和目標域的至少一個樣本對；

B22、針對輸入的每一個樣本對，掩碼形變網絡分別按如下步驟進行處理：

從樣本對的源域的實例掩碼和目標域的實例掩碼中，分別隨機采樣設定數量的實例掩碼；將采樣獲得的源域的實例掩碼和目標域的實例掩碼兩兩配對，即一個源域的實例掩碼對應一個目標域的實例掩碼其中，下標i表示第i個樣本對，范圍為1～P，P為輸入的樣本對的數量，j表示對應域的第j個掩碼，范圍為1～Q，Q為設定的采樣數量，上標T表示目標域、S表示源域；

將目標域標簽和采樣獲得的源域的實例掩碼輸入掩碼形變網絡，生成分別與該源域各實例掩碼對應的目標域生成掩碼

基于源域實例掩碼和目標域實例掩碼的配對信息，以及目標域生成掩碼與源域實例掩碼的對應關系，構建由對應的源域實例掩碼目標域實例掩碼和目標域生成掩碼構成的三元組；

B23、根據步驟B22獲得的三元組，針對每一個三元組，對其目標域實例掩碼進行縮放，使得其與對應的目標域生成掩碼尺寸相匹配，作為目標域真實掩碼；并由對應的目標域生成掩碼和目標域真實掩碼構成正負樣本對；

B24、將步驟B23獲得的正負樣本對，輸入判別器，對掩碼形變網絡進行對抗訓練；

B25、達到設定的迭代次數或掩碼形變網絡收斂，則完成訓練，否則返回步驟B22。

5.如權利要求4所述的一種掩碼變形方法的掩碼形變網絡的訓練方法，其特征在于：

在所述步驟B22中，在將采樣獲得的源域的實例掩碼和目標域的實例掩碼兩兩配對后，將兩兩配對的實例掩碼的中心位置進行對齊。