[發(fā)明專利]一種基于遷移學(xué)習(xí)的低資源領(lǐng)域分詞器訓(xùn)練方法及分詞方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711026810.4
• 申請(qǐng)日: 2017-10-27
• 公開（公告）號(hào): CN107967253A
• 公開（公告）日: 2018-04-27
• 發(fā)明（設(shè)計(jì)）人: 孫栩;許晶晶;李煒;馬樹銘
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06K9/62;G06N3/04
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11200
• 代理人: 司立彬

1.一種基于遷移學(xué)習(xí)的低資源領(lǐng)域分詞器訓(xùn)練方法，其步驟包括：

1)在目標(biāo)領(lǐng)域和各設(shè)定領(lǐng)域分別進(jìn)行訓(xùn)練，生成各領(lǐng)域?qū)?yīng)的分詞器；

2)利用步驟1)得到的各領(lǐng)域的分詞器對(duì)目標(biāo)領(lǐng)域的語料進(jìn)行分詞處理，獲得各分詞器在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示；

3)計(jì)算步驟2)中獲得的各分詞器在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示與目標(biāo)領(lǐng)域的分詞器t在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示的相關(guān)度，然后根據(jù)所述相關(guān)度得到各領(lǐng)域分詞器對(duì)字x_i的權(quán)重向量；

4)根據(jù)步驟3)得到的權(quán)重向量對(duì)各分詞器得到的隱層表示進(jìn)行加權(quán)求和，得到一最終的隱層表示，并以該最終的隱層表示計(jì)算字x_i的標(biāo)簽；

5)根據(jù)步驟4)得到各字的預(yù)測(cè)標(biāo)簽與標(biāo)準(zhǔn)結(jié)果訓(xùn)練得到該目標(biāo)領(lǐng)域的分詞器。

2.如權(quán)利要求1所述的方法，其特征在于，所述權(quán)重向量其中，h_i,j為第j個(gè)設(shè)定領(lǐng)域的分詞器j對(duì)該目標(biāo)領(lǐng)域的語料中樣例X的字x_i的隱層表示；h_i,t為分詞器t對(duì)該目標(biāo)領(lǐng)域的語料中樣例X的字x_i的隱層表示；σ²是超參數(shù)，Z是歸一化參數(shù)。

3.如權(quán)利要求1所述的方法，其特征在于，所述權(quán)重向量其中，e_i,j＝f(W₁[W₂·h_i,h_i,j])；h_i,j代表第j個(gè)分詞器對(duì)該目標(biāo)領(lǐng)域的語料中樣例X的字x_i輸出的隱層向量表示，h_i代表m個(gè)分詞器對(duì)該目標(biāo)領(lǐng)域的語料中樣例X的字x_i輸出的隱層向量表示的級(jí)聯(lián)結(jié)果，W₁和W₂均為待學(xué)習(xí)參數(shù)矩陣，[]代表將兩個(gè)向量并聯(lián)起來，e_i,j為權(quán)重參數(shù)，α_i,j為歸一化的權(quán)重參數(shù)。

4.如權(quán)利要求1所述的方法，其特征在于，所述權(quán)重向量其中，h_i,j代表第j個(gè)分詞器對(duì)該目標(biāo)領(lǐng)域的語料中樣例X的字x_i輸出的隱層向量表示，e_i,j為權(quán)重參數(shù)，α_i,j為歸一化的權(quán)重參數(shù)。

5.如權(quán)利要求1所述的方法，其特征在于，所述權(quán)重向量其中，l表示門控網(wǎng)絡(luò)的第l個(gè)遞歸層，j表示門控網(wǎng)絡(luò)的第j個(gè)節(jié)點(diǎn)，W為參數(shù)矩陣，[]代表級(jí)聯(lián)操作，表示門控網(wǎng)絡(luò)的第l個(gè)遞歸層第j個(gè)節(jié)點(diǎn)的輸出，z_N,z_L,z_R,r_L,r_R為門控網(wǎng)絡(luò)中待學(xué)習(xí)的門。

6.如權(quán)利要求1所述的方法，其特征在于，所述步驟5)的方法為：計(jì)算步驟4)得到的預(yù)測(cè)標(biāo)簽與標(biāo)準(zhǔn)結(jié)果間的負(fù)對(duì)數(shù)似然損失，并通過隨機(jī)優(yōu)化方法減小負(fù)對(duì)數(shù)似然損失，得到該目標(biāo)領(lǐng)域的分詞器。

7.如權(quán)利要求1～6任一所述的方法，其特征在于，所述設(shè)定領(lǐng)域?yàn)楦徽Z料資源領(lǐng)域，所述目標(biāo)領(lǐng)域?yàn)榈驼Z料資源領(lǐng)域。

8.一種基于遷移學(xué)習(xí)的低資源領(lǐng)域分詞方法，其步驟包括：

1)在目標(biāo)領(lǐng)域和各設(shè)定領(lǐng)域分別進(jìn)行訓(xùn)練，生成各領(lǐng)域?qū)?yīng)的分詞器；

2)利用步驟1)得到的各領(lǐng)域的分詞器對(duì)目標(biāo)領(lǐng)域的語料進(jìn)行分詞處理，獲得各分詞器在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示；

3)計(jì)算步驟2)中獲得的各分詞器在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示與目標(biāo)領(lǐng)域的分詞器t在該目標(biāo)領(lǐng)域的語料上每個(gè)字x_i的隱層表示的相關(guān)度，然后根據(jù)所述相關(guān)度得到各領(lǐng)域分詞器對(duì)字x_i的權(quán)重向量；

4)根據(jù)步驟3)得到的權(quán)重向量對(duì)各分詞器得到的隱層表示進(jìn)行加權(quán)求和，得到一最終的隱層表示，并以該最終的隱層表示計(jì)算字x_i的標(biāo)簽。

9.一種基于遷移學(xué)習(xí)的低資源領(lǐng)域分詞方法，其特征在于，采用權(quán)利要求1所述的方法訓(xùn)練得到目標(biāo)領(lǐng)域的分詞器對(duì)目標(biāo)領(lǐng)域的語料進(jìn)行分詞。