[發(fā)明專利]一種基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910995383.3
• 申請(qǐng)日: 2019-10-18
• 公開(kāi)（公告）號(hào): CN110727880B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 李輝;陳鵬
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué);中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院
• 主分類號(hào): G06F16/9536
• 分類號(hào): G06F16/9536;G06F16/33;G06F40/284
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 房鑫

本發(fā)明公開(kāi)了一種基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)方法，包括以下步驟：1)獲取開(kāi)放文本語(yǔ)料，對(duì)開(kāi)放文本語(yǔ)料進(jìn)行預(yù)處理，所述開(kāi)放文本預(yù)料包括中文維基百科語(yǔ)料及新聞?wù)Z料；2)對(duì)步驟1)處理后的中文維基百科語(yǔ)料與新聞?wù)Z料進(jìn)行合并，得合并語(yǔ)料，再利用分詞工具對(duì)合并語(yǔ)料進(jìn)行分詞，再過(guò)濾掉分詞結(jié)果中的停用詞；3)使用開(kāi)放工具word2vec對(duì)過(guò)濾停用詞后的分詞結(jié)果進(jìn)行無(wú)監(jiān)督訓(xùn)練，并根據(jù)無(wú)監(jiān)督訓(xùn)練的結(jié)果構(gòu)建詞向量模型；4)獲取待檢測(cè)文本，得分詞表，同時(shí)構(gòu)建相似詞詞典；5)利用相似詞詞典、詞向量模型及敏感詞庫(kù)對(duì)分詞表中的詞進(jìn)行敏感性檢測(cè)，完成基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)，該方法對(duì)敏感詞的檢測(cè)能力較為優(yōu)異。

技術(shù)領(lǐng)域

本發(fā)明屬于互聯(lián)網(wǎng)信息處理技術(shù)領(lǐng)域，涉及一種基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)方法。

背景技術(shù)

隨著信息時(shí)代的迅猛發(fā)展，網(wǎng)絡(luò)上新出現(xiàn)的各種社交媒體平臺(tái)受到了很多用戶的青睞，并且利用社交平臺(tái)進(jìn)行信息發(fā)布已經(jīng)成為當(dāng)前形成和傳播社會(huì)輿論的重要途徑。社會(huì)媒體每天帶來(lái)海量的文本語(yǔ)料，其中存在少部分語(yǔ)料會(huì)對(duì)社會(huì)安全和政治穩(wěn)定帶來(lái)巨大風(fēng)險(xiǎn)。為了避免潛在敏感語(yǔ)料帶來(lái)的負(fù)面影響，需要對(duì)網(wǎng)上的語(yǔ)料進(jìn)行檢測(cè)，并能夠快速地識(shí)別出其中涉及敏感的信息，進(jìn)而進(jìn)行更深一步地處理。

對(duì)于網(wǎng)絡(luò)上的敏感語(yǔ)料，傳統(tǒng)的純粹基于詞庫(kù)進(jìn)行檢測(cè)方式具有很大的局限性，僅用詞庫(kù)過(guò)濾的方式面臨詞匯量不全面和詞庫(kù)難以與時(shí)俱進(jìn)的問(wèn)題。因此，如何在此基礎(chǔ)上對(duì)敏感詞檢測(cè)能力進(jìn)行提升是一個(gè)亟待解決的問(wèn)題。

針對(duì)面向網(wǎng)絡(luò)媒體的敏感語(yǔ)料檢測(cè)方法，申請(qǐng)人經(jīng)過(guò)專利查詢，檢索到一篇相關(guān)的專利，名稱為敏感文本檢測(cè)方法及裝置，專利申請(qǐng)?zhí)枮镃N201410064854.6,該專利提出了一種基于有限自動(dòng)狀態(tài)機(jī)和關(guān)鍵詞類別權(quán)重的敏感文本檢測(cè)方案，該專利提出針對(duì)敏感詞出現(xiàn)的頻率以及權(quán)值對(duì)文本的敏感程度進(jìn)行判別，但是該方式僅能濾除詞庫(kù)中已有的敏感詞，不能對(duì)詞庫(kù)以外但也是敏感的詞進(jìn)行檢測(cè)，這一點(diǎn)尚未有有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提供了一種基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)方法，該方法對(duì)敏感詞的檢測(cè)能力較為優(yōu)異。

為達(dá)到上述目的，本發(fā)明所述的基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)方法包括以下步驟：

1)獲取開(kāi)放文本語(yǔ)料，然后對(duì)開(kāi)放文本語(yǔ)料進(jìn)行預(yù)處理，其中，所述開(kāi)放文本預(yù)料包括中文維基百科語(yǔ)料及新聞?wù)Z料；

2)對(duì)步驟1)處理后的中文維基百科語(yǔ)料與新聞?wù)Z料進(jìn)行合并，得合并語(yǔ)料，同時(shí)將敏感詞種子詞庫(kù)加入到分詞工具中，再利用分詞工具對(duì)合并語(yǔ)料進(jìn)行分詞，再過(guò)濾掉分詞結(jié)果中的停用詞，其中，敏感詞種子詞庫(kù)來(lái)源于網(wǎng)上開(kāi)源的敏感詞庫(kù)；

3)使用開(kāi)放工具word2vec對(duì)過(guò)濾停用詞后的分詞結(jié)果進(jìn)行無(wú)監(jiān)督訓(xùn)練，并根據(jù)無(wú)監(jiān)督訓(xùn)練的結(jié)果構(gòu)建詞向量模型；

4)獲取待檢測(cè)文本，將敏感詞庫(kù)加載到分詞工具中，對(duì)待檢測(cè)文本進(jìn)行分詞，并對(duì)分詞結(jié)果過(guò)濾停用詞，得分詞表，同時(shí)構(gòu)建相似詞詞典；

5)從分詞表中選取未被檢測(cè)的詞，判斷檢測(cè)敏感詞庫(kù)中是否含有該未被檢測(cè)的詞，若敏感詞庫(kù)中含有該未被檢測(cè)的詞時(shí)，則判斷該未被檢測(cè)的詞敏感，否則，以該未被檢測(cè)的詞作為鍵查詢相似詞詞典，若相似詞詞典中含有該鍵，得相似詞表，檢測(cè)敏感詞庫(kù)中是否含有相似詞表中的詞，若敏感詞庫(kù)中至少有一個(gè)詞屬于該相似詞表，則判定該未被檢測(cè)的詞敏感，否則，認(rèn)為未被檢測(cè)的詞非敏感；若相似詞詞典中不含有該鍵，則利用詞向量模型計(jì)算該未被檢測(cè)的詞與詞向量模型中所有詞的余弦相似度，取余弦相似度最高的前n個(gè)詞，檢測(cè)敏感詞庫(kù)中是否含有所述n個(gè)詞，若敏感詞庫(kù)中至少有一個(gè)詞屬于所述n個(gè)詞，則判定該未被檢測(cè)的詞敏感，否則，認(rèn)為該未被檢測(cè)的詞非敏感，并將該未被檢測(cè)的詞與其n個(gè)相似詞作為鍵-值加入到相似詞詞典中；

6)重復(fù)步驟5)直至遍歷分詞表中的所有詞為止，完成基于詞庫(kù)與詞向量模型的敏感語(yǔ)料檢測(cè)。