[發(fā)明專(zhuān)利]基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110165682.1
• 申請(qǐng)日: 2021-02-06
• 公開(kāi)（公告）號(hào): CN112883721A
• 公開(kāi)（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 邵德奇;石聰;關(guān)培培;朱經(jīng)南;趙詩(shī)陽(yáng);馮超;李騰飛;段治平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 科技日?qǐng)?bào)社
• 主分類(lèi)號(hào): G06F40/279
• 分類(lèi)號(hào): G06F40/279;G06F40/289;G06K9/62;G06N3/04
• 代理公司: 北京瀛和律師事務(wù)所 11744
• 代理人: 邵曉玉

本發(fā)明提供了一種基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別方法和裝置，涉及新詞挖掘的技術(shù)領(lǐng)域，包括獲取語(yǔ)料信息，通過(guò)N?Gram切詞算法對(duì)語(yǔ)料信息進(jìn)行分詞處理得到多個(gè)新詞詞語(yǔ)；將新詞詞語(yǔ)輸入BERT預(yù)訓(xùn)練模型的淺層網(wǎng)絡(luò)，輸出淺層稠密向量，其中，BERT預(yù)訓(xùn)練模型中引入有雙向自注意力網(wǎng)絡(luò)，淺層稠密向量包括新詞詞語(yǔ)的句法特征向量以及詞法特征向量，淺層稠密向量用于識(shí)別新詞詞語(yǔ)的邊界信息；提取新詞詞語(yǔ)的離散特征；將淺層稠密向量與離散特征輸入DNN二分類(lèi)模型，識(shí)別出正確的新詞詞語(yǔ)，通過(guò)BERT預(yù)訓(xùn)練模型的淺層網(wǎng)絡(luò)確定詞語(yǔ)的邊界，進(jìn)而準(zhǔn)確識(shí)別出正確的新詞。

技術(shù)領(lǐng)域

本發(fā)明涉及新詞挖掘技術(shù)領(lǐng)域，尤其是涉及一種基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)科技的飛速發(fā)展，經(jīng)常會(huì)鑄造出一些新興詞匯，即“新詞”。在當(dāng)前的語(yǔ)義識(shí)別場(chǎng)景中，往往由于無(wú)法準(zhǔn)確識(shí)別出語(yǔ)句中的新詞，而不能正確識(shí)別出語(yǔ)句含義。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別方法和裝置，通過(guò)BERT預(yù)訓(xùn)練模型的淺層網(wǎng)絡(luò)確定詞語(yǔ)的邊界，進(jìn)而準(zhǔn)確識(shí)別出正確的新詞。

第一方面，本發(fā)明實(shí)施例提供了一種基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別方法，包括：

獲取語(yǔ)料信息，通過(guò)N-Gram切詞算法對(duì)所述語(yǔ)料信息進(jìn)行分詞處理得到多個(gè)新詞詞語(yǔ)；

將所述新詞詞語(yǔ)輸入BERT預(yù)訓(xùn)練模型的淺層網(wǎng)絡(luò)，輸出淺層稠密向量，其中，所述BERT預(yù)訓(xùn)練模型中引入有雙向自注意力網(wǎng)絡(luò)，所述淺層稠密向量包括所述新詞詞語(yǔ)的句法特征向量以及詞法特征向量，所述淺層稠密向量用于識(shí)別所述新詞詞語(yǔ)的邊界信息；

提取所述新詞詞語(yǔ)的離散特征；

將所述淺層稠密向量與所述離散特征輸入DNN二分類(lèi)模型，識(shí)別出正確的新詞詞語(yǔ)。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，將所述淺層稠密向量與所述離散特征輸入DNN二分類(lèi)模型，識(shí)別出正確的新詞詞語(yǔ)的步驟，包括：

將所述淺層稠密向量與所述離散特征輸入DNN二分類(lèi)模型；

根據(jù)輸出結(jié)果判斷所述新詞詞語(yǔ)是否為正確的真詞，其中，所述輸出結(jié)果包括所述新詞詞語(yǔ)為正確的真詞的概率；

若所述新詞詞語(yǔ)為正確的真詞的概率大于預(yù)設(shè)概率值，則將所述新詞詞語(yǔ)為正確的真詞。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，所述方法還包括：

若所述新詞詞語(yǔ)為正確的真詞，則通過(guò)所述新詞詞語(yǔ)反饋調(diào)節(jié)所述DNN二分類(lèi)模型和所述BERT預(yù)訓(xùn)練模型。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，所述方法還包括：

對(duì)識(shí)別新詞詞語(yǔ)后的語(yǔ)料信息進(jìn)行語(yǔ)義識(shí)別。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，通過(guò)N-Gram切詞算法對(duì)所述語(yǔ)料信息進(jìn)行分詞處理得到多個(gè)新詞詞語(yǔ)的步驟，包括：

通過(guò)N-Gram切詞算法，將所述語(yǔ)料信息進(jìn)行切分過(guò)濾，生成多個(gè)新詞詞語(yǔ)，所述新詞詞語(yǔ)為多種預(yù)設(shè)字節(jié)長(zhǎng)度的字節(jié)片段。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第五種可能的實(shí)施方式，其中，所述淺層網(wǎng)絡(luò)包括所述BERT預(yù)訓(xùn)練模型的第2層和第3層。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第六種可能的實(shí)施方式，其中，所述離散特征包括左右信息熵，互信息和統(tǒng)計(jì)數(shù)值tf-idf。

第二方面，本發(fā)明實(shí)施例還提供一種基于BERT預(yù)訓(xùn)練模型的新詞識(shí)別裝置，包括：