[發明專利]基于圖像間語義輔助的個性化圖像分割方法及系統

有效

• 申請號: 202011353724.6
• 申請日: 2020-11-26
• 公開（公告）號: CN112381831B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 程明明;張宇;姜鵬濤
• 申請（專利權）人: 南開大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06V10/40;G06V10/762;G06V10/764;G06K9/62;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本申請公開了基于圖像間語義輔助的個性化圖像分割方法及系統，獲取當前用戶的若干幅無標注圖像和非當前用戶的若干幅有標注圖像；對當前用戶的每幅無標注圖像進行特征提取，得到每幅無標注圖像的圖像特征；依據當前用戶的每幅無標注圖像的圖像特征，基于聚類算法，得到若干個無標注圖像組合；將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；在初步訓練的過程中，基于每個組合的圖像間語義信息輔助實現圖像的分割；基于初步訓練后的深度神經網絡，對當前用戶的新圖像組合進行分割，得到分割結果。

技術領域

本申請涉及圖像處理技術領域，特別是涉及基于圖像間語義輔助的個性化圖像分割方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

傳統的圖像語義分割算法假設圖像與圖像之間是相互獨立的，在進行分割的時候不考慮圖像之間的相互關系。然而這種假設對于用戶個性化圖像的分割通常并不成立：特定用戶的個性化圖像會包含很多相似的物體或者場景，這種相似性意味著圖像之間是高度相關的。如何利用這種圖像之間的相關性來提高分割算法精度是一個很有價值和挑戰性的問題。

發明內容

為了解決現有技術的不足，本申請提供了基于圖像間語義輔助的個性化圖像分割方法及系統；

第一方面，本申請提供了基于圖像間語義輔助的個性化圖像分割方法；

基于圖像間語義輔助的個性化圖像分割方法，包括：

獲取當前用戶的若干幅無標注圖像；獲取非當前用戶的若干幅有標注圖像；將非當前用戶的若干幅有標注圖像按照標注劃分為若干個有標注圖像組合；

對當前用戶的每幅無標注圖像進行特征提取，得到每幅無標注圖像的圖像特征；

依據當前用戶的每幅無標注圖像的圖像特征，基于聚類算法，得到若干個無標注圖像組合；

將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；在初步訓練的過程中，基于每個組合的圖像間語義信息輔助實現圖像的分割；

基于初步訓練后的深度神經網絡，對當前用戶的新圖像組合進行分割，得到新圖像組合中每幅圖像的分割結果。

第二方面，本申請提供了基于圖像間語義輔助的個性化圖像分割系統；

基于圖像間語義輔助的個性化圖像分割系統，包括：

獲取模塊，其被配置為：獲取當前用戶的若干幅無標注圖像；獲取非當前用戶的若干幅有標注圖像；將非當前用戶的若干幅有標注圖像按照標注劃分為若干個有標注圖像組合；

特征提取模塊，其被配置為：對當前用戶的每幅無標注圖像進行特征提取，得到每幅無標注圖像的圖像特征；

聚類模塊，其被配置為：依據當前用戶的每幅無標注圖像的圖像特征，基于聚類算法，得到若干個無標注圖像組合；

訓練模塊，其被配置為：將所有的無標注圖像組合和所有的有標注圖像組合，按照標注的有無，交替輸入到深度神經網絡中，對深度神經網絡進行初步訓練，得到初步訓練后的深度神經網絡；在初步訓練的過程中，基于每個組合的圖像間語義信息輔助實現圖像的分割；

分割模塊，其被配置為：基于初步訓練后的深度神經網絡，對當前用戶的新圖像組合進行分割，得到新圖像組合中每幅圖像的分割結果。