[發明專利]基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法及系統

在審

• 申請號: 202111415766.2
• 申請日: 2021-11-25
• 公開（公告）號: CN115131366A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 王瑜;段逸凡;肖洪兵
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/08;G06V10/82;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法及系統，屬于圖像處理技術領域。輸入待分割多模態小目標圖像數據，分割模型利用數據合成框架和半監督學習框架兩部分獲得：數據合成框架是一個基于端到端的深度神經網絡，使用兩種數據集通過對抗性損失，保留高頻細節，訓練生成式對抗網絡，生成多模態小目標合成圖像；半監督學習框架利用多模態學習和附加模態先驗知識的無監督領域自適應方法進行訓練，得到全自動分割模型。最后利用分割模型輸出分割結果。本發明解決了多模態小目標分割中有標注的數據樣本稀缺和高度數據不平衡問題，能夠同時利用無標簽數據和跨模態數據，提升多模態小目標圖像的分割精度。

技術領域

本發明涉及人工智能與多模態小目標圖像處理技術領域，特別涉及一種基于生成式對抗網絡和半監督領域自適應的方法對多模態小目標圖像進行全自動分割，建立用于多模態小目標圖像全自動分割的半監督領域自適應框架與基于生成式對抗網絡的數據合成框架，提升多模態小目標圖像的分割精度。

背景技術

由于圖像的多義性和復雜性，許多分割的工作無法依靠計算機自動完成，而手動分割又存在工作量大，定位不準確的難題，因此，人們提出了一些人工交互與計算機自動定位相結合的方法，利用各自的優勢，實現目標輪廓的快速定位。

每一種信息的來源或者形式，都可以稱為一種模態。例如，人有觸覺、聽覺、視覺、嗅覺；信息的媒介，有語音、視頻、文字等；多種多樣的傳感器，如雷達、紅外、加速度計等。以上的每一種都可以稱為一種模態。多模態轉化也稱為映射，負責將一個模態的信息轉換為另一個模態的信息，旨在學習兩個不同視覺域之間的映射，常見的應用包括：機器翻譯(machine translation,MT)：將輸入的語言A(即時)翻譯為另一種語言B。

而在圖像到圖像的轉換中，目標圖像生成需要大量成對的訓練數據，來降低研究內容中相似性要求的難度，然而成對的數據是很難獲得的，有標注的多模態數據更加稀缺，這在訓練深度學習模型時引入了重大挑戰。

在深度學習目標檢測中，由于分辨率低、圖像模糊、信息少、噪聲多，小目標檢測一直是一個實用和常見的難點問題，所謂小目標指的是目標的成像尺寸屬性，就是指目標在圖像中所占的像素面積小，根據國際光學工程學會(society of photo-opticalinstrumentation engineers，SPIE)的定義，小目標為在256×256的圖像中目標面積小于80個像素，即小于256×256的0.12％就為小目標。單是檢測就已經很困難，更不用說是進行分割。

直觀上，當我們看到一幅圖像時，我們首先關注的是圖像中比較醒目的圖像，一般的，這些醒目的圖像往往在圖中所占的比例比較大。而小目標往往被我們忽略。數據集中也存在這種情況，很多圖像中包含的小物體并沒有被標出。另外，小目標所在區域較小，在提取特征的過程中，其提取到的特征非常少，這些都不利于我們對小目標的檢測與分割。且深度學習圖像分析需要足夠的數據量，具有高等級不平衡或變異性不足的數據都很容易導致網絡性能較差。

發明內容

為了克服上述現有技術的不足，本發明提出了一種基于生成式對抗網絡和半監督領域自適應的多模態小目標圖像全自動分割方法與系統，以提升多模態小目標分割的精度。