[發(fā)明專利]一種多標記學習方法

在審

• 申請?zhí)枺?/td>: 201810062864.4
• 申請日: 2018-01-23
• 公開（公告）號: CN108364073A
• 公開（公告）日: 2018-08-03
• 發(fā)明（設計）人: 黃明;莊福振;敖翔;羅平;何清
• 申請（專利權(quán)）人: 中國科學院計算技術研究所
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種多標記學習模型的訓練方法，包括以下步驟：

步驟1：利用給定的多標記數(shù)據(jù)訓練集對包含自動編碼機和多分類模型的多標記學習模型進行訓練，其中，在訓練過程中，所述自動編碼機用于對所述多標記數(shù)據(jù)訓練集進行特征提取，所述多分類模型以經(jīng)過特征提取之后的多標記數(shù)據(jù)訓練集為輸入進行訓練；

步驟2：檢查所述多標記學習模型的損失函數(shù)，所述多標記學習模型的損失函數(shù)包括所述自動編碼機的損失項以及所述多分類模型的損失項；

步驟3：在所述損失函數(shù)不滿足預定的精度要求時，迭代所述自動編碼機和所述多分類模型的相關參數(shù)，執(zhí)行步驟1-2；

步驟4：獲得所述多分類模型對應的訓練分類器以及所述自動編碼機的優(yōu)化權(quán)重矩陣和偏置向量。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述多分類模型為softmax多分類回歸模型。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述多標記學習模型中的自動編碼機由輸入層、嵌入層、標記層、重構(gòu)層和輸出層構(gòu)成，其中嵌入層和標記層分別是所述自動編碼機的第一編碼層和第二編碼層，標記層的輸入是所述多分類模型的輸入。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述多標記學習模型的損失函數(shù)表示為：

其中，J是自動編碼機的損失項，L是多分類模型的損失項，Ω是正則化項，α和β是用于控制多標記學習模型的平衡參數(shù)，

J表示為：

其中，

t用于指示所使用樣本的來源，t∈{r,s}表示可來自于訓練集或測試集，表示自動編碼機的輸入向量，表示自動編碼機的輸出向量，是嵌入層的輸出，W₁是嵌入層的權(quán)重矩陣，b₁是嵌入層的偏置向量，是標記層的輸出，c表示標記的個數(shù)，W₂是標記層的權(quán)重矩陣，b₂是標記層的偏置向量，是重構(gòu)層的輸出，W′₂是重構(gòu)層的權(quán)重矩陣為，b′₂是重構(gòu)層的偏置向量；

L表示為：

是嵌入層的輸出，是W₂的第j行，c表示標記的個數(shù)，n_r表示訓練集中的樣本個數(shù)，表示標記為j的向量；

Ω表示為：

Ω(W,b,W′,b′)＝||W₁||²+||b₁||²+||W₂||²+||b₂||²+

||W′₁||²+||b′₁||²+||W′₂||²+||b′₂||²。

5.根據(jù)權(quán)利要求3所述的方法，其中，步驟1包括：

步驟11：將所述多標記數(shù)據(jù)訓練集轉(zhuǎn)換為多分類訓練數(shù)據(jù)集；

步驟12：利用所述自動編碼機對所述多標記數(shù)據(jù)訓練數(shù)據(jù)集進行特征提取并以經(jīng)過特征提取之后的多標記數(shù)據(jù)訓練集為輸入訓練所述多分類模型，其中，在訓練所述多分類模型的過程中，將所述自動編碼機的標記層的輸入作為所述多分類模型的輸入。

6.一種多標記分類方法，包括：

根據(jù)權(quán)利要求1至5中任一項所述方法獲得的所述訓練分類器和所述自動編碼機預測新的實例的標記集合。

7.根據(jù)權(quán)利要求6所述的方法，其中，包括以下子步驟：

步驟31：對于新的實例x，將所述自動編碼機的標記層的輸入作為所述訓練分類器的輸入；

步驟32：根據(jù)所述訓練分類器獲得實例x具有各個標記的概率；

步驟33：基于實例x各個標記概率的排序選擇實例x的標記集合。