[發明專利]一種基于半監督變分自編碼器的主動眾包圖像學習方法

有效

• 申請號: 202110531443.3
• 申請日: 2021-05-17
• 公開（公告）號: CN112990385B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李紹園;侍野;黃圣君
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

本發明公開了一種基于半監督變分自編碼器的主動眾包圖像學習方法，具體為：獲取圖片集，隨機抽選一定比例的圖像，將其分發給網絡上的標注者進行標注，獲得眾包標記；搭建基于半監督變分自編碼器的眾包學習網絡模型；將數據集輸入模型，構造損失函數；基于隨機梯度下降，端到端地對模型進行訓練；選擇預測真實標記的熵最大的圖像，查詢真實標記；與上一輪迭代所使用的訓練集組合，生成新的數據集，返回第三步，直到當前迭代次數到達閾值為止；刪去模型重構部分和眾包映射層部分，將網絡的剩余部分作為分類器。本發明同時利用眾包數據和無標記數據，降低數據的標注成本。并通過引入少量真實標記，來緩解模型對于噪聲的過擬合，提高模型的泛化性能。

技術領域

本發明涉及一種基于半監督變分自編碼器的主動眾包圖像學習方法，屬于圖像標注技術領域。

背景技術

傳統的監督學習需要大量的專家圖像，需要比較高的標注成本。為了降低成本，人們提出了多種方法，比如眾包學習、半監督學習和主動學習。

眾包學習的流程是首先發布標注任務在網絡平臺上，任何人都可以進行這個標注任務，所收集到的數據比專家標注噪聲比例更多。為了解決眾包中非專家標注者的不確定性，通常會讓每張圖像由多個標注者進行標注，即重復標注。如何利用這種具有噪聲和重復標記的眾包數據成為了眾包學習的關鍵點。代表性的方式有從每張圖像的多個標簽集估計其真實標記的真實標記推斷，其中最為簡單的是Majority-voting，對每個標注者的可靠度進行建模的DS模型及其變種，使用EM式算法聯合學習分類器模型和標注者噪聲模型, 使用預測模型來提高數據質量，與主動學習結合等。其中，盡管眾包學習中的標簽聚合方法可以與任何類型的機器學習算法結合使用，但與同樣聯合學習分類器本身的方法相比，它們是次優的。

半監督學習通過引入大量的無標記數據，這些無標記數據和有標記數據是同分布的，通過無標記數據來對模型進行約束，緩解模型的過擬合，提高它的性能同時降低對專家標記數量的需求。不過，將眾包學習和半監督學習結合起來的工作都沒有考慮過引入少量的額外監督信息來緩解模型對于眾包數據中噪聲的擬合。

主動學習則是通過某種指標或策略選擇出無標記數據中最具有信息量的圖像，之后詢問專家這些圖像的標記。將眾包學習和主動學習結合起來的工作均聚焦于詢問圖像的眾包標注而非專家標注。但是在實際情況中，少量圖像的真實標記不會增加太多的標記成本，但卻很有可能較大地提高模型的泛化性能。

發明內容

本發明所要解決的技術問題是：提供一種基于半監督變分自編碼器的主動眾包圖像學習方法，同時利用眾包數據和無標記數據，降低數據的標注成本。并通過引入少量真實標記，來緩解模型對于噪聲的擬合，提高模型的泛化性能。

本發明為解決上述技術問題采用以下技術方案：

一種基于半監督變分自編碼器的主動眾包圖像學習方法，包括如下步驟：

步驟1，獲取圖像集X ，將圖像集X 按照預設比例隨機劃分為第一圖像集和第二圖像集，將第一圖像集分發給網絡上的標注者進行標注，獲得相應的眾包標記；

步驟2，搭建半監督眾包學習網絡模型，所述半監督眾包學習網絡模型包括半監督變分自編碼器、眾包映射層和主動學習框架；

步驟3，將第一圖像集、第二圖像集、眾包標記、第三圖像集和真實標記集作為訓練集，輸入半監督眾包學習網絡模型，基于訓練集和網絡參數構造變分下界損失函數；第一次迭代時，和均為空集；

步驟4，基于隨機梯度下降方法，端到端地對半監督眾包學習網絡模型進行訓練，得到訓練好的半監督眾包學習網絡模型；

步驟5，利用訓練好的半監督眾包學習網絡模型對第二圖像集中每幅圖像的真實標記概率進行預測，從第二圖像集中選擇真實標記概率預測值的熵最大的圖像，獲取圖像的真實標記；