[發明專利]一種基于少量點標注的跨域遷移圖像分割方法

有效

• 申請號: 202110734847.2
• 申請日: 2021-06-30
• 公開（公告）號: CN113469186B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 彭佳林;王玉柱;易佳錦;邱達飛
• 申請（專利權）人: 華僑大學;華北水利水電大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V20/70;G06V10/82;G06N3/0455;G06N3/0495;G06N3/08
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;李艾華

本發明公開了一種基于少量點標注的跨域遷移圖像分割方法，屬于圖像處理技術領域。在圖像的多目標分割任務中，本發明只要求對目標域數據中的少量目標中心點進行標注，然后在源域數據訓練的模型引導下，對少量點標注的目標域數據進行分割預測任務、空間計數任務以及量化計數任務的學習，在輸出空間上利用對抗網絡使模型學習到目標域判別性的特征表示，從而提升目標域的跨域分割效果，得到與無監督模型相比具有競爭力的圖像自動分割模型。本發明公開的方法在新的應用場景數據上，只需要利用已有的標記數據和新應用場景數據上的少量點標注，極大地降低了人工成本并獲得有競爭力的分割效果，可以應用于自然場景圖像、醫學圖像等領域的多目標物分割。

技術領域

本發明屬于圖像處理技術領域，涉及一種對圖像中多目標物的分割方法，更為具體地，涉及一種基于少量點標注的跨域遷移圖像自動分割方法。

背景技術

圖像中大量小目標物的語義分割是圖像處理領域應用廣泛的技術之一，通過對圖像進行逐像素分類以實現對圖像語義信息的提取。隨著深度學習技術的發展，基于全監督的深度圖像分割技術性能有了很大提高。但是基于深度學習的全監督方法需要大量像素級標簽。然而實際應用場景中，逐一對目標進行像素級的標注需要大量的人力和物力，其標注成本高昂。

針對這類問題，研究學者們提出了一類無監督的域自適應分割方法，將現有應用場景中已有標記的數據域訓練的模型遷移應用在新的無標記的數據域上。如專利申請號為CN?111402257?A，名稱為“基于多任務系統跨域遷移的醫學圖像自動分割方法”通過整合標簽域的幾何線索和圖像域的視覺線索共同引導域自適應取得了不錯的分割效果，但由于不同的數據域的數據分布差異較大，并且完全缺少新的數據域標記信息，該方法學習到的跨域分割模型的分割性能有限。除了高成本的像素級標記之外，在一些弱監督分割方法的研究工作中，中心點標注、邊界框標注、涂鴉標注等標記信息在取得良好的分割效果的同時大大降低了標注成本。但對于海量圖像數據以及圖像中目標數量過多時，對每個目標進行弱標注仍然是一筆不低的標注開銷，而對少量目標進行標注可以在提供少量準確的標注信息的基礎上極大程度地降低標注成本。因此，利用新的目標數據域上少量弱標記為目標域數據提供真實的判別信息，能引導已有標記的源域數據訓練的分割模型更好地遷移泛化到目標域上，可以在少量標注成本的情況下提升跨域分割模型的分割精度。

發明內容

為了解決背景技術中提到的跨域圖像語義分割方法存在的一些問題，本發明提供了一種基于少量點標注的跨域遷移圖像分割方法，在具有多目標物的目標域數據集上，只對部分目標進行中心點標注，然后通過利用與目標域圖像類似但來自不同場景但有充分標注的圖像數據集即源域的訓練模型，實現對目標域圖像數據的語義分割。本發明通過考慮一般性的源域數據知識，如位置和數量信息等，設計了空間計數子網絡和量化計數子網絡，對分割目標進行定位和對其數量做出約束，并在輸出空間上，基于對抗學習的思想，利用域判別器，輔助分割網絡在目標域數據上有更好的分割效果。

本發明采用如下技術方案：

一種基于少量點標注的跨域遷移圖像分割方法，包括下列步驟：

S1、使用源域數據預訓練跨域遷移圖像分割模型，其包括5個步驟，具體如下：

S11、預處理源域圖像數據；

S12、構建跨域遷移圖像分割模型；

優選地，所述跨域遷移圖像分割模型分為語義分割子網絡、空間計數子網絡和量化計數子網絡，在源域數據上不對量化計數子網絡參數進行優化；

S13、設計損失函數；