[發(fā)明專利]用于NLP任務(wù)的語言模型構(gòu)建方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110602682.3
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113204961A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 于鳳英;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F40/242
• 分類號(hào): G06F40/242;G06F40/284
• 代理公司: 深圳市明日今典知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

1.一種用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述方法包括：

獲取目標(biāo)領(lǐng)域的目標(biāo)詞向量生成模型的第一詞典，所述目標(biāo)詞向量生成模型是基于Word2vec訓(xùn)練得到的模型；

獲取初始語言模型的第二詞典，所述初始語言模型為采用不限領(lǐng)域的樣本數(shù)據(jù)訓(xùn)練得到的Bert模型；

根據(jù)所述第一詞典和所述第二詞典進(jìn)行交集獲取，得到目標(biāo)詞典交集數(shù)據(jù)；

采用最小二乘法，對(duì)所述目標(biāo)詞典交集數(shù)據(jù)進(jìn)行擬合無約束線性變換，得到模擬矩陣向量；

根據(jù)所述初始語言模型、所述目標(biāo)詞向量生成模型和所述模擬矩陣向量進(jìn)行語言模型構(gòu)建，得到所述目標(biāo)領(lǐng)域?qū)?yīng)的目標(biāo)語言模型。

2.根據(jù)權(quán)利要求1所述的用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述獲取目標(biāo)領(lǐng)域的目標(biāo)詞向量生成模型的第一詞典的步驟之前，還包括：

獲取所述目標(biāo)領(lǐng)域的訓(xùn)練樣本集合；

采用所述訓(xùn)練樣本集合對(duì)詞向量生成初始模型進(jìn)行訓(xùn)練，將訓(xùn)練結(jié)束的所述詞向量生成初始模型作為所述目標(biāo)詞向量生成模型。

3.根據(jù)權(quán)利要求1所述的用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述根據(jù)所述第一詞典和所述第二詞典進(jìn)行交集獲取，得到目標(biāo)詞典交集數(shù)據(jù)的步驟，包括：

根據(jù)所述第一詞典和所述第二詞典進(jìn)行交集獲取，得到待去噪的詞典交集數(shù)據(jù)；

對(duì)所述待去噪的詞典交集數(shù)據(jù)進(jìn)行噪聲字符的去除，得到所述目標(biāo)詞典交集數(shù)據(jù)，其中，所述噪聲字符包括：表情符號(hào)、標(biāo)點(diǎn)符號(hào)和空字符。

4.根據(jù)權(quán)利要求1所述的用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述模擬矩陣向量表述為W，采用如下公式計(jì)算得到：

其中，W是所述模擬矩陣向量以用于使第一詞向量和第二詞向量對(duì)齊，所述第一詞向量是將目標(biāo)詞語輸入所述目標(biāo)詞向量生成模型輸出的詞向量，所述第二詞向量是將所述目標(biāo)詞語輸入所述初始語言模型輸出的詞向量，所述目標(biāo)詞語是所述目標(biāo)詞典交集數(shù)據(jù)中的詞語；ε_w2v(x)是將所述目標(biāo)詞典交集數(shù)據(jù)中的詞語x輸入所述目標(biāo)詞向量生成模型輸出的所述第一詞向量，ε_LM(x)是將所述目標(biāo)詞典交集數(shù)據(jù)中的詞語x輸入所述初始語言模型輸出的所述第二詞向量，是使后面的計(jì)算表達(dá)式達(dá)到最小值，L_LM∩L_W2v是所述目標(biāo)詞典交集數(shù)據(jù)，L_LM是所述第一詞典，L_W2v是所述第二詞典，是對(duì)Wε_w2v(x)-ε_LM(x)取平方后再開根計(jì)算。

5.根據(jù)權(quán)利要求1所述的用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述根據(jù)所述初始語言模型、所述目標(biāo)詞向量生成模型和所述模擬矩陣向量進(jìn)行語言模型構(gòu)建，得到所述目標(biāo)領(lǐng)域?qū)?yīng)的目標(biāo)語言模型的步驟，包括：

根據(jù)所述初始語言模型和所述目標(biāo)詞向量生成模型進(jìn)行向量生成單元生成，得到目標(biāo)詞向量生成單元；

根據(jù)所述目標(biāo)詞向量生成單元、所述初始語言模型和所述模擬矩陣向量進(jìn)行詞嵌入單元生成，得到目標(biāo)詞嵌入單元；

將所述初始語言模型去掉編碼器以前的結(jié)構(gòu)，得到目標(biāo)詞向量處理單元；

將所述目標(biāo)詞向量生成單元、所述目標(biāo)詞嵌入單元和所述目標(biāo)詞向量處理單元進(jìn)行依次連接，得到所述目標(biāo)領(lǐng)域?qū)?yīng)的所述目標(biāo)語言模型。

6.根據(jù)權(quán)利要求5所述的用于NLP任務(wù)的語言模型構(gòu)建方法，其特征在于，所述根據(jù)所述初始語言模型和所述目標(biāo)詞向量生成模型進(jìn)行向量生成單元生成，得到目標(biāo)詞向量生成單元的步驟，包括：

將所述目標(biāo)詞向量生成模型作為第一詞向量生成子單元；

將所述初始語言模型的分詞器和詞向量生成器作為第二詞向量生成子單元；

將所述第一詞向量生成子單元和所述第二詞向量生成子單元進(jìn)行并聯(lián)設(shè)置，得到所述目標(biāo)詞向量生成單元。