[發明專利]基于圖像間語義輔助的個性化圖像分割方法及系統

有效

• 申請號: 202011353724.6
• 申請日: 2020-11-26
• 公開（公告）號: CN112381831B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 程明明;張宇;姜鵬濤
• 申請（專利權）人: 南開大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06V10/40;G06V10/762;G06V10/764;G06K9/62;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于圖像間語義輔助的個性化圖像分割方法，其特征是，包括：

獲取當前用戶的若干幅無標注圖像；獲取非當前用戶的若干幅有標注圖像；將非當前用戶的若干幅有標注圖像按照標注劃分為若干個有標注圖像組合；

對當前用戶的每幅無標注圖像進行特征提取，得到每幅無標注圖像的圖像特征；

依據當前用戶的每幅無標注圖像的圖像特征，基于聚類算法，得到若干個無標注圖像組合；

將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；在初步訓練的過程中，基于每個組合的圖像間語義信息輔助實現圖像的分割；

基于初步訓練后的深度神經網絡，對當前用戶的新圖像組合進行分割，得到新圖像組合中每幅圖像的分割結果；

將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；在初步訓練的過程中，基于每個組合的圖像間語義信息輔助實現圖像的分割；具體實現過程包括：

深度神經網絡的網絡結構包括：編碼器、區域特征提取模塊、上下文聚合模塊、融合模塊、解碼器和判別器；

所述編碼器，用于輸入每個組合的圖像，所述編碼器對每個組合中的每個圖像進行特征提取，得到每個圖像的基礎特征；

所述區域特征提取模塊，用于對每個組合中所有圖像的基礎特征進行區域特征提取，得到圖像與圖像之間的區域特征；

所述上下文聚合模塊，用于將所有的區域特征和所有圖像的基礎特征進行聚合處理得到聚合特征；

所述融合模塊，用于將聚合特征與每個圖像基礎特征進行融合處理，得到若干個融合特征；

所述解碼器，對所有的融合特征進行解碼處理，得到預測的分割圖像；

所述判別器，對預測的分割圖像與原始的分割標簽進行比較，判斷預測圖像與原始分割標簽的一致性比例，當一致性比例達到設定閾值時，停止訓練，得到初步訓練后的深度神經網絡。

2.如權利要求1所述的基于圖像間語義輔助的個性化圖像分割方法，其特征是，基于初步訓練后的深度神經網絡，對當前用戶的新圖像組合進行分割，得到新圖像組合中每幅圖像的分割結果；被替換為：

通過初步訓練后的深度神經網絡，對下一個無標注圖像組合進行分割預測，利用分割預測的結果作為偽標簽；基于偽標簽和偽標簽對應的圖像，對初步訓練后的深度神經網絡進行再次訓練，得到最終訓練后的深度神經網絡；基于最終訓練后的深度神經網絡，對用戶的新圖像組合進行分割，得到新圖像組合中每幅圖像的分割結果。

3.如權利要求1所述的基于圖像間語義輔助的個性化圖像分割方法，其特征是，對當前用戶的每幅無標注圖像進行特征提取，得到每幅無標注圖像的圖像特征；具體是指：

基于卷積神經網絡CNN，對當前用戶的每幅無標注圖像進行特征提取，得到當前用戶的每幅無標注圖像的圖像特征。

4.如權利要求1所述的基于圖像間語義輔助的個性化圖像分割方法，其特征是，將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；具體是指：

采用無監督域自適應算法，所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，輸入到深度神經網絡中，即先輸入有標注圖像組合對深度神經網絡進行訓練，再輸入無標注圖像組合對深度神經網絡進行訓練，再輸入有標注圖像組合對深度神經網絡進行訓練，再輸入無標注圖像組合對深度神經網絡進行訓練，以此類推，直至所有的組合均對深度神經網絡進行訓練，得到初步訓練后的深度神經網絡。

5.如權利要求1所述的基于圖像間語義輔助的個性化圖像分割方法，其特征是，所述對每個組合中所有圖像的基礎特征進行區域特征提取，得到圖像與圖像之間的區域特征，具體是指：

對每個圖像的基礎特征，利用分類器得到分割圖；

利用分割圖作為區域的基礎特征；

通過將區域的基礎特征加權平均得到圖像與圖像之間的區域特征。