[發(fā)明專(zhuān)利]海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710344343.3
• 申請(qǐng)日: 2017-05-16
• 公開(kāi)（公告）號(hào): CN107168953A
• 公開(kāi)（公告）日: 2017-09-15
• 發(fā)明（設(shè)計(jì)）人: 袁華;錢(qián)宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27;G06N3/02
• 代理公司: 四川省成都市天策商標(biāo)專(zhuān)利事務(wù)所51213
• 代理人: 卞濤

1.一種海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于包括：

對(duì)新詞發(fā)現(xiàn)任務(wù)的語(yǔ)料進(jìn)行預(yù)處理，所述預(yù)處理至少包括短句切分和分詞；

對(duì)預(yù)處理后的語(yǔ)料進(jìn)行n-gram詞串挖掘，以得到該語(yǔ)料中的n-gram候選詞串；

設(shè)置詞向量，并根據(jù)n-gram候選詞串中的詞與詞對(duì)應(yīng)的詞向量之間的相似性進(jìn)行剪枝，得到新詞。

2.根據(jù)權(quán)利要求1所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于所述對(duì)預(yù)處理后的語(yǔ)料進(jìn)行n-gram詞串挖掘以得到該語(yǔ)料中的n-gram候選詞串的方法包括：

從預(yù)處理后的語(yǔ)料中查找所有出現(xiàn)頻率大于預(yù)設(shè)頻率閾值的二元詞串，并記錄各個(gè)二元詞串的位置索引；

二元詞串從其位置索引開(kāi)始進(jìn)行左右擴(kuò)張直到達(dá)到停止條件，得到n-gram候選詞串。

3.根據(jù)權(quán)利要求2所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于所述停止條件為左右擴(kuò)張后得到的詞串頻率小于預(yù)設(shè)頻率閾值或者左右擴(kuò)張后得到的詞串為停用詞。

4.根據(jù)權(quán)利要1所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于所述詞向量基于外部語(yǔ)料訓(xùn)練得到，所述基于外部語(yǔ)料訓(xùn)練詞向量的方法包括：

對(duì)外部語(yǔ)料進(jìn)行分詞處理；

采用神經(jīng)網(wǎng)絡(luò)訓(xùn)練語(yǔ)言模型對(duì)分詞處理后的外部語(yǔ)料進(jìn)行訓(xùn)練，得到詞向量。

5.根據(jù)權(quán)利要求4所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練語(yǔ)言模型為Skip-gram或CBOW模型。

6.根據(jù)權(quán)利要求1至5中任一所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)方法，其特征在于所述根據(jù)n-gram候選詞串中的詞與詞對(duì)應(yīng)的詞向量之間的相似性進(jìn)行剪枝的方法包括：判斷n-gram候選詞串中的詞與詞對(duì)應(yīng)的詞向量之間的余弦相似性是否大于預(yù)設(shè)的余弦相似性閾值，如果滿(mǎn)足該條件則將這兩個(gè)詞作為一個(gè)新詞進(jìn)行保存。

7.一種海量文本中基于詞向量表征的新詞發(fā)現(xiàn)系統(tǒng)，其特征在于包括：

預(yù)處理模塊，其被配置成對(duì)新詞發(fā)現(xiàn)任務(wù)的語(yǔ)料進(jìn)行預(yù)處理，所述預(yù)處理至少包括短句切分和分詞；

n-gram詞串挖掘模塊，其被配置成對(duì)預(yù)處理后的語(yǔ)料進(jìn)行n-gram詞串挖掘，以得到該語(yǔ)料中的n-gram候選詞串；

詞向量設(shè)置模塊，其被配置成設(shè)置詞向量；

剪枝模塊，其被配置成根據(jù)n-gram候選詞串中的詞與詞對(duì)應(yīng)的詞向量之間的相似性進(jìn)行剪枝，得到新詞。

8.根據(jù)權(quán)利要求7所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)系統(tǒng)，其特征在于所述n-gram詞串挖掘模塊具體被配置成：

從預(yù)處理后的語(yǔ)料中查找所有出現(xiàn)頻率大于預(yù)設(shè)頻率閾值的二元詞串，并記錄各個(gè)二元詞串的位置索引；

二元詞串從其位置索引開(kāi)始進(jìn)行左右擴(kuò)張直到達(dá)到停止條件，得到n-gram候選詞串。

9.根據(jù)權(quán)利要求7所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)系統(tǒng)，其特征在于所述詞向量設(shè)置模塊具體被配置成：對(duì)外部語(yǔ)料進(jìn)行分詞處理；采用神經(jīng)網(wǎng)絡(luò)訓(xùn)練語(yǔ)言模型對(duì)分詞處理后的外部語(yǔ)料進(jìn)行訓(xùn)練，得到詞向量。

10.根據(jù)權(quán)利要求7或9所述的海量文本中基于詞向量表征的新詞發(fā)現(xiàn)系統(tǒng)，其特征在于所述剪枝模塊具體被配置成：判斷n-gram候選詞串中的詞與詞對(duì)應(yīng)的詞向量之間的余弦相似性是否大于預(yù)設(shè)的余弦相似性閾值，如果滿(mǎn)足該條件則將這兩個(gè)詞作為一個(gè)新詞進(jìn)行保存。