[發(fā)明專利]利用堆疊式自動編碼器進(jìn)行的半監(jiān)督式分類

在審

• 申請?zhí)枺?/td>: 201780054591.2
• 申請日: 2017-09-04
• 公開（公告）號: CN109690577A
• 公開（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: R·加艾尼;S·S·阿爾哈桑;O·F·法里;K·李;V·達(dá)特拉;A·卡迪爾;柳俊毅;A·普拉卡什
• 申請（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 李光穎;王英

本文中描述的技術(shù)涉及用于預(yù)測和其他用途的堆疊式自動編碼器和其他分類器的半監(jiān)督式訓(xùn)練和應(yīng)用。在各種實(shí)施例中，可以訓(xùn)練半監(jiān)督式模型(108)以用于句子分類，并且可以將本文中提到的“殘余堆疊式去噪自動編碼器”(“RSDA”)(220)(其可以是無監(jiān)督式的)與諸如分類神經(jīng)網(wǎng)絡(luò)(例如，多層感知機(jī)或“MLP”)的監(jiān)督式分類器(218)進(jìn)行組合。在各種實(shí)施例中，RSDA可以是堆疊式去噪自動編碼器，其可以包括或者可以不包括一個或多個殘余連接。如果存在殘余連接，則殘余連接可以幫助RSDA“記住”跨多層的遺忘信息。在各種實(shí)施例中，半監(jiān)督式模型可以同時利用未標(biāo)記的數(shù)據(jù)(用于RSDA)和標(biāo)記的數(shù)據(jù)(用于分類器)來訓(xùn)練。

技術(shù)領(lǐng)域

本文中描述的各種實(shí)施例總體上涉及人工智能。更具體地但非排他性地，本文中公開的各種方法和裝置涉及用于預(yù)測和其他用途的堆疊式自動編碼器和其他分類器的半監(jiān)督式訓(xùn)練和應(yīng)用。

背景技術(shù)

基于深度學(xué)習(xí)的分類方法通常依賴于大量標(biāo)記的數(shù)據(jù)。然而，采集標(biāo)記的數(shù)據(jù)成本很高，這限制了研究人員將這些技術(shù)應(yīng)用于許多自然語言處理任務(wù)。當(dāng)前用于深度學(xué)習(xí)的半監(jiān)督式方法主要使用未標(biāo)記的數(shù)據(jù)來學(xué)習(xí)單詞嵌入，然后將這些單詞嵌入用于監(jiān)督式分類，但是這些學(xué)習(xí)的向量并不直接受益于監(jiān)督。半監(jiān)督式學(xué)習(xí)旨在通過利用未標(biāo)記的數(shù)據(jù)和標(biāo)記的數(shù)據(jù)兩者來提高監(jiān)督式方法的性能。已經(jīng)有一些有限的嘗試使用深度學(xué)習(xí)進(jìn)行半監(jiān)督式句子分類，例如，使用卷積神經(jīng)網(wǎng)絡(luò)(“CNN”)和/或長短期記憶網(wǎng)絡(luò)(“LSTM”)從未標(biāo)記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)單詞嵌入，然后利用這些嵌入進(jìn)行監(jiān)督式分類。雖然這些努力可以減輕句子分類任務(wù)中的某些錯誤，但是仍然存在兩個主要缺陷。首先，到目前為止，這些方法僅關(guān)注單個句子分類的簡單情況。其次，這種嘗試主要涉及使用未標(biāo)記的數(shù)據(jù)進(jìn)行單詞嵌入提取，然后在流水線環(huán)境中進(jìn)行監(jiān)督式分類。因此，它們無法從未標(biāo)記的數(shù)據(jù)和標(biāo)記的數(shù)據(jù)兩者中聯(lián)合地學(xué)習(xí)區(qū)別特征。

發(fā)明內(nèi)容

本公開涉及用于預(yù)測和其他用途的堆疊式自動編碼器和其他分類器/模型的半監(jiān)督式訓(xùn)練和應(yīng)用的方法和裝置。例如，本文中描述的是用于句子分類的半監(jiān)督式模型，其將本文中提到的“殘余堆疊式去噪自動編碼器”(“RSDA”)(其可以是無監(jiān)督式的)與諸如分類神經(jīng)網(wǎng)絡(luò)(例如，多層感知機(jī)或“MLP”)的監(jiān)督式分類器進(jìn)行組合。在各種實(shí)施例中，RSDA可以是堆疊式去噪自動編碼器，其可以包括或者可以不包括一個或多個殘余連接。如果存在殘余連接，則殘余連接可以幫助RSDA“記住”跨多層的遺忘信息。在各種實(shí)施例中，半監(jiān)督式模型可以同時利用未標(biāo)記的數(shù)據(jù)(用于RSDA)和標(biāo)記的數(shù)據(jù)(用于分類器)來訓(xùn)練。

一旦被訓(xùn)練，半監(jiān)督式模型的一個或多個部分就可以用于各種分類任務(wù)，包括但不限于釋義識別、(例如電影評論、音樂評論、書籍評論、產(chǎn)品評論等的)情感檢測、主觀性分類以及句子蘊(yùn)涵。例如，在一些實(shí)施例中，在RSDA被訓(xùn)練之后，可以丟棄(或忽略)自動編碼器的一個或多個解碼器層。RSDA的一個或多個剩余編碼器層可以用于生成例如句子嵌入的編碼的嵌入，其可以作為輸入被應(yīng)用到分類器(例如，應(yīng)用在分類神經(jīng)網(wǎng)絡(luò)上)以預(yù)測與上述分類任務(wù)中的一個或多個分類任務(wù)相關(guān)聯(lián)的一個或多個標(biāo)記。雖然本文中描述的技術(shù)可用于預(yù)測任何數(shù)量的領(lǐng)域中的標(biāo)記，但是本文中描述的一些實(shí)施例涉及從自由形式的臨床記錄中預(yù)測診斷和/或其他結(jié)果。

總體上，在一個方面中，一種方法可以包括：在嵌入機(jī)器學(xué)習(xí)模型上應(yīng)用第一多個句子作為未標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個句子嵌入；在自動編碼器機(jī)器學(xué)習(xí)模型上應(yīng)用所述多個句子嵌入作為輸入以訓(xùn)練所述自動編碼器機(jī)器學(xué)習(xí)模型，其中，所述自動編碼器機(jī)器學(xué)習(xí)模型包括一個或多個編碼器層和一個或多個解碼器層；在編碼器機(jī)器學(xué)習(xí)模型的一個或多個實(shí)例上應(yīng)用第二多個句子作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個編碼的嵌入，其中，所述第二多個句子與對應(yīng)的多個標(biāo)記相關(guān)聯(lián)，并且其中，所述編碼器機(jī)器學(xué)習(xí)模型包括所述自動編碼器機(jī)器學(xué)習(xí)模型的所述一個或多個編碼器層；在分類器上應(yīng)用所述多個編碼的嵌入作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成輸出；以及基于所述輸出和所述多個標(biāo)記來訓(xùn)練所述分類器以利用所述多個標(biāo)記中的一個或多個標(biāo)記對后續(xù)句子進(jìn)行分類。