[發明專利]一種應用群智監督學習方法的系統

在審

• 申請號: 202010475504.4
• 申請日: 2020-05-29
• 公開（公告）號: CN111723930A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 孫海龍;陳志珺;陳鵬鵬;王惠民
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

1.一種應用群智監督學習方法的系統，包括：數據輸入、眾包標注學習、數據輸出三個結構，其特征在于：

所述數據輸入結構包括眾包數據收集和眾包數據預處理這兩個過程，具體的：首先通過眾包網頁上的數據接口收集眾包標注數據，所述眾包網頁為Amazon Mechanical Turk，所述標注數據包括各個樣本點的特征信息和眾包工人標注；所述眾包數據預處理為對收集到的數據進行整理處理，使其能以一定的格式來輸入后續的工作結構；

所述眾包標注學習結構包括數據輸入端口、模型SpeeLFC訓練模塊，具體的：所述數據輸入端口獲取前個步驟中所輸出的數據，并將數據以符合模型SpeeLFC訓練模塊的格式輸入；所述模型SpeeLFC訓練模塊利用所輸入的數據進行模型訓練，并在訓練完成后輸出模型參數，其中包括所需要的分類器的參數。所述模型SpeeLFC訓練模塊中采用結構化概率模型，并且將最大化關于眾包標注的對數條件似然函數作為優化目標，最終采用標準的基于梯度的優化算法Adam來進行優化，即模型訓練；所述模型SpeeLFC訓練模塊中結構化概率模型的主要構造為：首先樣本點特征經過一個分類器并生成樣本真值的分布，然后這個真值分布經過我們所構造的“工人轉移矩陣”的線性映射而得到眾包工人標注的分布；

所述數據輸出結構將經過訓練后的所有模型參數值輸出，并將分類器的參數值單獨輸出。

2.如權利要求1所述一種應用群智監督學習方法的系統，其特征在于模型SpeeLFC訓練模塊中的模型SpeeLFC的構造為：對于每一個樣例其真值來自于一個條件類別分布：

是一個被θ_NN參數化的神經網絡函數，即所述分類器，其中輸入數據為x⁽ⁱ⁾，輸出為K個數值，即代表隨機變量t⁽ⁱ⁾取不同類別的概率；

然后，隨機變量l^(ij)取值來自于：

其中函數ind(·)代表取出所輸入的獨熱向量中數值1的位置索引(位置索引從1開始計算)，并且ind(·)∈{1,…K}；π^(j)′代表標注者j^th的轉移矩陣，代表當真值為n時，t^th標注者標注m的概率，且所述轉移矩陣中元素滿足如下限制條件：

3.如權利要求2所述一種應用群智監督學習方法的系統，其特征在于：所述最大化關于眾包標注的對數條件似然函數構建為：

4.如權利要求3所述一種應用群智監督學習方法的系統，其特征在于：所述標準的基于梯度的優化方法為SGD或者Adam方法。

5.如權利要求1所述一種應用群智監督學習方法的系統，其特征在于：所述模型SpeeLFC訓練模塊修改為模型SpeeLFC-D訓練模塊，具體的：所述數據輸入端口獲取前個步驟中所輸出的數據，并將數據以符合模型SpeeLFC-D訓練模塊的格式輸入；所述模型SpeeLFC-D訓練模塊利用所輸入的數據進行模型訓練，并在訓練完成后輸出模型參數，其中包括所需要的分類器的參數；所述模型SpeeLFC-D訓練模塊中采用結構化概率模型，并且將最大化關于眾包標注的對數條件似然函數作為優化目標，最終采用標準的基于梯度的優化算法ADAM來進行優化，即模型訓練；所述模型SpeeLFC-D訓練模塊中結構化概率模型的主要構造為：首先樣本點特征經過分類器并生成樣本真值的分布，然后這個真值分布經過我們所構造的“工人轉移矩陣”的線性映射而得到眾包工人標注的分布，其中為每個工人在他所標注的每個任務下都單獨刻畫一個轉移矩陣π^(i,j)，并在其中同時考慮任務難度與工人能力，所述任務即為樣例。