[發明專利]一種基于半監督變分自編碼器的主動眾包圖像學習方法

有效

• 申請號: 202110531443.3
• 申請日: 2021-05-17
• 公開（公告）號: CN112990385B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李紹園;侍野;黃圣君
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

1.一種基于半監督變分自編碼器的主動眾包圖像學習方法，其特征在于，包括如下步驟：

步驟1，獲取圖像集X，將圖像集X按照預設比例隨機劃分為第一圖像集X_sup和第二圖像集X_unsup，將第一圖像集X_sup分發給網絡上的標注者進行標注，獲得相應的眾包標記Y_crowd；

步驟2，搭建半監督眾包學習網絡模型，所述半監督眾包學習網絡模型包括半監督變分自編碼器、眾包映射層和主動學習框架；

步驟3，將第一圖像集X_sup、第二圖像集X_unsup、眾包標記Y_crowd、第三圖像集X_*和真實標記集Y_*作為訓練集，輸入半監督眾包學習網絡模型，基于訓練集和網絡參數構造變分下界損失函數；第一次迭代時，X_*和Y_*均為空集；

所述變分下界損失函數的構造方法為：

對于x∈X_sup，其變分下界構造過程如下所示：

其中，x表示第一圖像集X_sup中的圖像，y表示x的真實標記，z表示隱變量，p_θ(x，y)表示x與y的似然函數，表示期望，p_θ(y)表示y的先驗分布，p(z)表示z的先驗分布，p_θ(x|y，z)表示x的后驗分布，q_φ(z|x，y)表示對p(z)的近似分布，表示x和y的損失函數，θ表示分布參數，φ為變分參數；

對于x′∈X_unsup，其變分下界構造過程如下所示：

其中，x′表示第二圖像集X_unsup的圖像，p_θ(x′)表示關于x′的似然函數，p_θ(x′|y，z)表示x′的后驗分布，q_φ(y|x′)表示近似的p_θ(y)，q_φ(y，z|x′)是對p(y，z)的近似分布，而p(y，z)是關于y，z的先驗聯合分布，表示關于x′和y的損失函數，表示q_φ(y|x′)的熵，表示關于x′的損失函數；

最終的變分下界損失函數為：

當第一次迭代時，損失函數的第四項為0；

其中，表示變分下界損失函數，α、β均表示超參數，表示第一圖像集的分布，表示第二圖像集的分布，表示第三圖像集的分布，x_*，y_*分別表示第三圖像集的單張圖像和其真實標記，W^r表示第r個眾包映射層，y表示真實標記，表示由經過眾包映射層反向映射得到的目標標記，表示代入了的q_φ(y|x)；

步驟4，基于隨機梯度下降方法，端到端地對半監督眾包學習網絡模型進行訓練，得到訓練好的半監督眾包學習網絡模型；

步驟5，利用訓練好的半監督眾包學習網絡模型對第二圖像集X_unsup中每幅圖像的真實標記概率進行預測，從第二圖像集X_unsup中選擇真實標記概率預測值的熵最大的圖像X_s，獲取圖像X_s的真實標記Y_s；

步驟6，將圖像X_s加入第三圖像集X_*，將真實標記Y_s加入真實標記集Y_*，返回步驟3，直到當前迭代次數達到閾值為止，得到最終的半監督眾包學習網絡模型；

步驟7，對最終的半監督眾包學習網絡模型，刪掉重構部分和眾包映射層部分，將剩余部分作為眾包圖像分類器；

步驟8，利用眾包圖像分類器對待標注圖像進行標注，得到眾包學習標記。

2.根據權利要求1所述基于半監督變分自編碼器的主動眾包圖像學習方法，其特征在于，步驟2所述眾包映射層，具體形式如下：

其中，表示第r個標注者的眾包標記，W^r表示第r個眾包映射層，y表示真實標記，r＝1，…，R，R為標注者的數量。