[發明專利]一種基于對抗融合眾包標簽的圖像標記估計方法

有效

• 申請號: 202110576811.6
• 申請日: 2021-05-26
• 公開（公告）號: CN113033716B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李紹園;韋夢龍;黃圣君
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

本發明公開了一種基于對抗融合眾包標簽的圖像標記估計方法，包括：獲取訓練圖像并分發給網絡上的標注者進行預標注，構造圖像眾包標記；搭建深度表示學習網絡，構建各個標注者分類器及對抗生成網絡；將圖像像素特征及眾包標簽輸入學習網絡，基于各標注者自身標簽預測損失和標注者之間的預測對抗損失，構造損失函數；基于隨機梯度下降，端到端地對表示學習參數、標注者分類器參數、判別器參數進行迭代更新，完成模型訓練；對于測試圖像，使用各標注者分類器對其預測眾包標簽，并采用多數投票作為圖像的真實標記估計。本發明通過標注者分類器學習實現不完整標注的補全，通過對抗融合利用標注者之間相關性，實現錯誤標簽的糾錯，提升模型的泛化性。

技術領域

本發明涉及一種基于對抗融合眾包標簽的圖像標記估計方法，屬于圖像標記估計領域。

背景技術

機器學習技術成為炙手可熱的技術，一個好的機器學習模型需要大量有標記樣本對來訓練，然而獲取標記是十分困難且昂貴的，特別是在需要高度相關的專業知識背景的領域，例如醫學圖像領域。快速地以較低代價獲取標簽具有很重要的實際應用需求。眾包平臺的出現正好滿足了這一需求，其將標簽任務分發給網絡上的非專家標注者。由于非專家可能犯錯誤，眾包通常采用冗余策略以消除單個標注者的極端錯誤影響，即將標注任務分發個多個標注者，每個標注者標注部分樣本以節約成本。如何從多個來源的低質量標簽中估計高質量的標記是眾包中的重要問題。最簡單的一種方式是多數投票，即選擇最多標注者同意的標記類別。其假設為所有標注者的標注質量同等可信，并且忽略了標注者僅標注部分樣本 的問題。本發明為每個標注者學習分類器模型以估計其對所有樣本的標簽，并借鑒生成對抗網絡的動態平衡思想，補全不完整標注的同時，動態融合利用標注者之間相關性，糾正錯誤標簽，提高真實標簽估計的精度。

發明內容

本發明所要解決的技術問題是：提供一種基于對抗融合眾包標簽的圖像標記估計方法，通過標注者分類器學習實現不完整標注的補全，通過對抗融合利用標注者之間相關性，實現錯誤標簽的糾錯，提升模型的泛化性。

本發明為解決上述技術問題采用以下技術方案：

一種基于對抗融合眾包標簽的圖像標記估計方法，包括如下步驟：

步驟1，獲取訓練圖像X，選擇標注平臺上的W個標注者分別對訓練圖像X進行標注，獲得每個標注者對應的眾包標簽，；

步驟2，構建全連接深度表示學習網絡，對訓練圖像X進行特征提取，得到訓練圖像特征Z；

步驟3，為W個標注者分別構建各自對應的分類器，以訓練圖像特征Z作為輸入，以各標注者對應的眾包標簽作為預測目標；

步驟4，為W個標注者對應的分類器構建分類損失；

步驟5，構建生成對抗網絡，將各標注者對應的分類器作為生成器，判別器為單層神經網絡，生成對抗網絡的輸入為各標注者對應的分類器對訓練圖像X的預測標簽；

步驟6，為生成對抗網絡構建生成對抗損失；

步驟7，基于隨機梯度下降，端到端地對全連接深度表示學習網絡參數、分類器參數、生成對抗網絡參數進行迭代更新，訓練包括全連接深度表示學習網絡、分類器和生成對抗網絡的模型；

步驟8，模型訓練完成后，獲取測試圖像，利用各標注者對應的分類器對測試圖像的標記進行預測，得到預測標記，將預測標記的多數投票作為最終標記估計。

作為本發明的一種優選方案，步驟2所述全連接深度表示學習網絡為兩層的卷積神經網絡。

作為本發明的一種優選方案，步驟3所述分類器為單層深度神經網絡。