[發(fā)明專利]一種網(wǎng)絡(luò)論壇消息的內(nèi)容相似度測(cè)量方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810102058.5
• 申請(qǐng)日: 2018-02-01
• 公開（公告）號(hào): CN108319690A
• 公開（公告）日: 2018-07-24
• 發(fā)明（設(shè)計(jì)）人: 姚俊萍;李曉軍;沈濤;李新社
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍火箭軍工程大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王戈

本發(fā)明公開一種網(wǎng)絡(luò)論壇消息的內(nèi)容相似度測(cè)量方法及系統(tǒng)。該方法根據(jù)所述測(cè)試狀態(tài)向量和所述基準(zhǔn)狀態(tài)向量S＝{s₁,s₂,...,s_M}計(jì)算所述測(cè)試文本消息d_k與所述基準(zhǔn)文本消息d之間的內(nèi)容的相似度，所述測(cè)試狀態(tài)向量和所述基準(zhǔn)狀態(tài)向量S＝{s₁,s₂,...,s_M}間內(nèi)容的相似度是非對(duì)稱的，即兩個(gè)文本消息之間的內(nèi)容相似度的值不僅與兩個(gè)文本消息的語義特征相關(guān)，而且與基準(zhǔn)消息的選擇有關(guān)，更符合網(wǎng)絡(luò)論壇敏感信息管控需求，提高了網(wǎng)絡(luò)論壇消息的內(nèi)容相似度測(cè)量的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)輿情管控領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)論壇消息的內(nèi)容相似 度測(cè)量方法及系統(tǒng)。

背景技術(shù)

現(xiàn)有技術(shù)中的網(wǎng)絡(luò)論壇消息中的文本內(nèi)容相似度測(cè)量的方法，主要的技術(shù) 思路是建立文本的向量空間模型描述文本的內(nèi)容特征，通過計(jì)算兩個(gè)文本特征 向量之間的余弦距離來測(cè)量內(nèi)容的相似度。

現(xiàn)有技術(shù)中通過計(jì)算兩個(gè)文本特征向量之間的余弦距離來測(cè)量內(nèi)容的相 似度的方法，主要特點(diǎn)是該余弦距離具有對(duì)稱性，例如，具有文本消息A和 文本消息B兩條內(nèi)容，文本消息A的內(nèi)容為C_A，文本消息B的內(nèi)容為C_B， 當(dāng)以文本消息A為基準(zhǔn)時(shí)，文本消息B與文本消息A之間的內(nèi)容差異為 Diff_AB＝C_B-C_B∩C_A，當(dāng)以文本消息B為基準(zhǔn)時(shí)，文本消息A與文本消息B之 間的內(nèi)容差異為Diff_BA＝C_A-C_A∩C_B，所以，Diff_BA≠Diff_AB。

所以，根據(jù)余弦距離測(cè)量兩個(gè)文本之間內(nèi)容的相似度，由于余弦距離具有 對(duì)稱性，忽略了基準(zhǔn)消息選擇的影響，實(shí)際的測(cè)量結(jié)果應(yīng)該是非對(duì)稱的，測(cè)量 的結(jié)果不準(zhǔn)確，不符合網(wǎng)絡(luò)管控的需求。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種能夠提高測(cè)量準(zhǔn)確度的網(wǎng)絡(luò)論壇消息的內(nèi)容相 似度測(cè)量方法及系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種網(wǎng)絡(luò)論壇消息的內(nèi)容相似度測(cè)量方法，所述測(cè)量方法包括：

獲取基準(zhǔn)文本消息d和網(wǎng)絡(luò)輿情管控的具體需求參數(shù)；

根據(jù)所述基準(zhǔn)文本消息d和所述網(wǎng)絡(luò)輿情管控的具體需求參數(shù)，建立用戶 詞典Dictionary＝{t₁,t₂,...,t_M}，其中，M為所述用戶詞典的維數(shù)，t_j表示所 述基準(zhǔn)文本消息d中的第j個(gè)關(guān)鍵中文實(shí)詞，j的取值為1,2,...，M；

分別以所述關(guān)鍵中文實(shí)詞t_j為關(guān)鍵詞檢索網(wǎng)絡(luò)論壇消息，獲得測(cè)試文本消 息集合D＝{d₁,d₂,...,d_N}，其中，N表示所述測(cè)試文本消息的條數(shù)，d_k表示第k 條測(cè)試文本消息，k的取值為1,2,3,...,N；

統(tǒng)計(jì)所述關(guān)鍵中文實(shí)詞在所述基準(zhǔn)文本消息d中出現(xiàn)的頻率 獲得基準(zhǔn)關(guān)鍵詞頻率向量

根據(jù)所述基準(zhǔn)關(guān)鍵詞頻率向量計(jì)算所述基準(zhǔn)文本消息 d的狀態(tài)向量，獲得基準(zhǔn)狀態(tài)向量 所述基準(zhǔn)狀態(tài)向量用于表征所 述基準(zhǔn)文本消息d的文本特征；其中，s_l表示所述基準(zhǔn)文本消息d的第l個(gè)文 本特征，l的取值為1,2,...,M，i的取值為1,2,...,M；

統(tǒng)計(jì)所述關(guān)鍵中文實(shí)詞在所述測(cè)試文本消息d_k中出現(xiàn)的頻率 獲得測(cè)試關(guān)鍵詞頻率向量