[發(fā)明專利]一種基于圖嵌入的新詞發(fā)現(xiàn)方法、系統(tǒng)、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011060498.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112232077B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 莫永卓;趙順峰;練睿;肖杰
• 申請（專利權(quán)）人: 和美（深圳）信息技術(shù)股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/284;G06F40/242;G06F40/216;G06F16/951
• 代理公司: 北京鍾維聯(lián)合知識產(chǎn)權(quán)代理有限公司 11579
• 代理人: 安娜

1.一種基于圖嵌入的新詞發(fā)現(xiàn)方法，其特征在于，包括：

使用滑動窗口切取待計(jì)算語料的N-GRAM字符串，計(jì)算各字符串的統(tǒng)計(jì)量，根據(jù)所述統(tǒng)計(jì)量為各字符串打分，選取得分滿足要求的字符串寫入新詞候選集，并將所述新詞候選集加入通用詞典；

基于將所述新詞候選集加入所述通用詞典后的詞典，對所述待計(jì)算語料采用詞典最大概率切詞，基于切詞后相鄰的詞語為節(jié)點(diǎn)構(gòu)建圖網(wǎng)絡(luò)；

基于圖注意力網(wǎng)絡(luò)對所述圖網(wǎng)絡(luò)進(jìn)行計(jì)算，得到所述待計(jì)算語料的詞語的圖嵌入；

在所述待計(jì)算語料的詞語的圖嵌入中找到新詞候選集中包含詞語的圖嵌入，遍歷所述新詞候選集中包含詞語的圖嵌入，根據(jù)與所述通用詞典中包含詞語的圖嵌入的相似度對所述新詞候選集中包含詞語的圖嵌入進(jìn)行排序，根據(jù)排序選取規(guī)定數(shù)量的所述新詞候選集中包含詞語的圖嵌入，在選取出的規(guī)定數(shù)量的圖嵌入中篩選出與所述通用詞典中包含詞語的圖嵌入的相似度滿足規(guī)定閾值的圖嵌入，將篩選得到的圖嵌入對應(yīng)的詞語作為候選新詞。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算各字符串的統(tǒng)計(jì)量，根據(jù)所述統(tǒng)計(jì)量為各字符串打分，選取得分滿足要求的字符串寫入新詞候選集，具體為：

計(jì)算各字符串的統(tǒng)計(jì)量，所述統(tǒng)計(jì)量包括：詞頻、平均互信息、左熵、右熵；

基于得分公式對各字符串進(jìn)行打分，所述得分公式為：

TF*AMI*(2*(EI+Er)/(El*Er))；

其中，TF為所述詞頻、AMI為所述平均互信息、El為所述左熵、Er為所述右熵；

根據(jù)各字符串的得分，選取得分大于規(guī)定閾值的字符串寫入新詞候選集。

3.一種基于圖嵌入的新詞發(fā)現(xiàn)系統(tǒng)，其特征在于，包括：

新詞候選集構(gòu)建模塊，用于使用滑動窗口切取待計(jì)算語料的N-GRAM字符串，計(jì)算各字符串的統(tǒng)計(jì)量，根據(jù)所述統(tǒng)計(jì)量為各字符串打分，選取得分滿足要求的字符串寫入新詞候選集，并將所述新詞候選集加入通用詞典；

圖嵌入訓(xùn)練模塊，用于基于將所述新詞候選集加入所述通用詞典后的詞典，對所述待計(jì)算語料采用詞典最大概率切詞，基于切詞后相鄰的詞語為節(jié)點(diǎn)構(gòu)建圖網(wǎng)絡(luò)，基于圖注意力網(wǎng)絡(luò)對所述圖網(wǎng)絡(luò)進(jìn)行計(jì)算，得到所述待計(jì)算語料的詞語的圖嵌入；

新詞篩選模塊，用于在所述待計(jì)算語料的詞語的圖嵌入中找到新詞候選集中包含詞語的圖嵌入，遍歷所述新詞候選集中包含詞語的圖嵌入，根據(jù)與所述通用詞典中包含詞語的圖嵌入的相似度對所述新詞候選集中包含詞語的圖嵌入進(jìn)行排序，根據(jù)排序選取規(guī)定數(shù)量的所述新詞候選集中包含詞語的圖嵌入，在選取出的規(guī)定數(shù)量的圖嵌入中篩選出與所述通用詞典中包含詞語的圖嵌入的相似度滿足規(guī)定閾值的圖嵌入，將篩選得到的圖嵌入對應(yīng)的詞語作為候選新詞。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述計(jì)算各字符串的統(tǒng)計(jì)量，根據(jù)所述統(tǒng)計(jì)量為各字符串打分，選取得分滿足要求的字符串寫入新詞候選集，具體為：

計(jì)算各字符串的統(tǒng)計(jì)量，所述統(tǒng)計(jì)量包括：詞頻、平均互信息、左熵、右熵；

基于得分公式對各字符串進(jìn)行打分，所述得分公式為：

TF*AMI*(2*(EI+Er)/(El*Er))；

其中，TF為所述詞頻、AMI為所述平均互信息、El為所述左熵、Er為所述右熵；

根據(jù)各字符串的得分，選取得分大于規(guī)定閾值的字符串寫入新詞候選集。

5.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：殼體、處理器、存儲器、電路板和電源電路，其中，電路板安置在殼體圍成的空間內(nèi)部，處理器和存儲器設(shè)置在電路板上；電源電路，用于為上述電子設(shè)備的各個電路或器件供電；存儲器用于存儲可執(zhí)行程序代碼；處理器通過讀取存儲器中存儲的可執(zhí)行程序代碼來運(yùn)行與可執(zhí)行程序代碼對應(yīng)的程序，用于執(zhí)行如權(quán)利要求1或2任一所述的方法。

6.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實(shí)現(xiàn)如權(quán)利要求1或2任一所述的方法。