[發(fā)明專利]利用堆疊式自動(dòng)編碼器進(jìn)行的半監(jiān)督式分類

在審

• 申請(qǐng)?zhí)枺?/td>: 201780054591.2
• 申請(qǐng)日: 2017-09-04
• 公開（公告）號(hào): CN109690577A
• 公開（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: R·加艾尼;S·S·阿爾哈桑;O·F·法里;K·李;V·達(dá)特拉;A·卡迪爾;柳俊毅;A·普拉卡什
• 申請(qǐng)（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 李光穎;王英

1.一種方法，包括：

在嵌入機(jī)器學(xué)習(xí)模型(210、211A)上應(yīng)用(602)第一多個(gè)句子(330)作為未標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個(gè)句子嵌入(334)；

在自動(dòng)編碼器機(jī)器學(xué)習(xí)模型(220)上應(yīng)用(604)所述多個(gè)句子嵌入作為輸入以訓(xùn)練所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型，其中，所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型包括一個(gè)或多個(gè)編碼器層(338)和一個(gè)或多個(gè)解碼器層(340)；

在編碼器機(jī)器學(xué)習(xí)模型(212)的一個(gè)或多個(gè)實(shí)例上應(yīng)用(606)第二多個(gè)句子作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個(gè)編碼的嵌入，其中，所述第二多個(gè)句子與對(duì)應(yīng)的多個(gè)標(biāo)記相關(guān)聯(lián)，并且其中，所述編碼器機(jī)器學(xué)習(xí)模型包括所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型的所述一個(gè)或多個(gè)編碼器層(338)；

在分類器(218)上應(yīng)用(608)所述多個(gè)編碼的嵌入作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成輸出；以及

基于所述輸出和所述多個(gè)標(biāo)記來訓(xùn)練(610)所述分類器以利用所述多個(gè)標(biāo)記中的一個(gè)或多個(gè)標(biāo)記對(duì)后續(xù)句子進(jìn)行分類。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述嵌入機(jī)器學(xué)習(xí)模型包括skip-thoughts模型。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)編碼器層包括多個(gè)編碼器層的序列(338_1-N)，并且所述一個(gè)或多個(gè)解碼器層包括對(duì)所述多個(gè)編碼器層的序列進(jìn)行鏡像的多個(gè)解碼器層的序列(340_1-N)。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型包括一個(gè)或多個(gè)殘余連接(350)。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述一個(gè)或多個(gè)殘余連接包括所述多個(gè)編碼器層的序列中的最后的編碼器層(338_N)與所述多個(gè)解碼器層的序列中的最后的解碼器層(340_N)之間的殘余連接。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述嵌入機(jī)器學(xué)習(xí)模型包括卷積神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述分類器包括多層感知機(jī)和softmax層(562)。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述第一多個(gè)句子和所述第二多個(gè)句子包括自由形式的臨床記錄，并且所述多個(gè)標(biāo)記包括與所述自由形式的臨床記錄相關(guān)聯(lián)的多個(gè)診斷。

9.至少一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，其包括指令，響應(yīng)于由一個(gè)或多個(gè)處理器對(duì)所述指令的運(yùn)行，所述指令使所述一個(gè)或多個(gè)處理器執(zhí)行以下操作：

在嵌入機(jī)器學(xué)習(xí)模型(210、211A)上應(yīng)用(602)第一多個(gè)句子(330)作為未標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個(gè)句子嵌入(334)；

在自動(dòng)編碼器機(jī)器學(xué)習(xí)模型(220)上應(yīng)用(604)所述多個(gè)句子嵌入作為輸入以訓(xùn)練所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型，其中，所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型包括一個(gè)或多個(gè)編碼器層(338)和一個(gè)或多個(gè)解碼器層(340)；

在編碼器機(jī)器學(xué)習(xí)模型(212)的一個(gè)或多個(gè)實(shí)例上應(yīng)用(606)第二多個(gè)句子作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成多個(gè)編碼的嵌入，其中，所述第二多個(gè)句子與對(duì)應(yīng)的多個(gè)標(biāo)記相關(guān)聯(lián)，并且其中，所述編碼器機(jī)器學(xué)習(xí)模型包括所述自動(dòng)編碼器機(jī)器學(xué)習(xí)模型的所述一個(gè)或多個(gè)編碼器層(338)；

在分類器(218)上應(yīng)用(608)所述多個(gè)編碼的嵌入作為標(biāo)記的訓(xùn)練數(shù)據(jù)以生成輸出；并且

基于所述輸出和所述多個(gè)標(biāo)記來訓(xùn)練(610)所述分類器以利用所述多個(gè)標(biāo)記中的一個(gè)或多個(gè)標(biāo)記對(duì)后續(xù)句子進(jìn)行分類。

10.根據(jù)權(quán)利要求9所述的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述嵌入機(jī)器學(xué)習(xí)模型包括skip-thoughts模型。