[發(fā)明專利]一種使用優(yōu)化的向量空間模型實(shí)現(xiàn)文檔自動(dòng)分類的方法

在審

• 申請?zhí)枺?/td>: 201510707947.0
• 申請日: 2015-10-28
• 公開（公告）號: CN105354184A
• 公開（公告）日: 2016-02-24
• 發(fā)明（設(shè)計(jì)）人: 鄧劍波;趙京升;劉曉雄;馬潤宇;倪顯見
• 申請（專利權(quán)）人: 甘肅智呈網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 蘭州中科華西專利代理有限公司 62002
• 代理人: 李艷華

1.一種使用優(yōu)化的向量空間模型實(shí)現(xiàn)文檔自動(dòng)分類的方法，包括以下步驟：

⑴對已知文章進(jìn)行預(yù)處理：

①去除無意義字符：先將已知文章中的標(biāo)點(diǎn)和換行符替換為自定義的符號，再去除空白字符；

②判斷標(biāo)題：當(dāng)兩個(gè)換行符之間字符數(shù)量不多，且后一個(gè)換行符之前緊鄰的字符不是標(biāo)點(diǎn)，則可判斷兩換行符之間的內(nèi)容為標(biāo)題和子標(biāo)題；

⑵對已知文章進(jìn)行詞頻優(yōu)化處理：

對于中文使用現(xiàn)有的分詞模塊對已知文章進(jìn)行分詞，掃描全文，統(tǒng)計(jì)全文詞頻、綜合詞性信息，使用關(guān)鍵詞生成模塊選出名詞性的高頻詞，得到關(guān)鍵詞；

采用詞頻詞典并運(yùn)用詞頻優(yōu)化模塊中的權(quán)重因子對所述關(guān)鍵詞的權(quán)重進(jìn)行優(yōu)化，即：降低高頻無意義詞和低頻無意義較長詞的權(quán)重，增加低頻有意義詞的權(quán)重；

其中：權(quán)重因子是指，式中表示詞頻詞典中最大的頻率數(shù)；n表示詞的字節(jié)數(shù)；表示詞的詞頻；

⑶對已知文章關(guān)鍵詞進(jìn)行關(guān)聯(lián)度優(yōu)化：

將所述關(guān)鍵詞的關(guān)聯(lián)度從關(guān)鍵詞關(guān)聯(lián)庫中讀取，并設(shè)定關(guān)鍵詞B相對于關(guān)鍵詞A的關(guān)聯(lián)度為h21，關(guān)鍵詞A相對于關(guān)鍵詞B的關(guān)聯(lián)度為h12，即若一個(gè)句子中包含關(guān)鍵詞A和關(guān)鍵詞B，且其原來的權(quán)重分別為r1和r2，則計(jì)入B相對于A的關(guān)鍵詞關(guān)聯(lián)度后A的權(quán)重將從r1變到r1+r2×h21，計(jì)入A相對于B的關(guān)鍵詞關(guān)聯(lián)度后B的權(quán)重將從r2變?yōu)閞2+r1×h12；

⑷獲得已知文章的主軸：

根據(jù)所述步驟⑵和所述步驟⑶所得的優(yōu)化后的關(guān)鍵詞及其權(quán)重得到已知文章的主軸；

⑸獲得類的主軸：

手動(dòng)整理出多個(gè)類的訓(xùn)練文檔，對每一篇訓(xùn)練文章按照所述步驟⑴~⑷獲得訓(xùn)練文檔的內(nèi)容主軸，然后按向量的加法將其整理成多個(gè)類的主軸；

⑹對未知文章分類：

ⅰ計(jì)算未知文章的主軸與所述多個(gè)類的主軸之間的相似度：

設(shè)定關(guān)鍵詞1對應(yīng)k₁，關(guān)鍵詞2對應(yīng)k₂，關(guān)鍵詞3對應(yīng)k₃，…，關(guān)鍵詞n對應(yīng)k_n；

未知文章的主軸對應(yīng)A*，所述多個(gè)類的主軸對應(yīng)T；

關(guān)鍵詞1在未知文章中的權(quán)重為a₁，關(guān)鍵詞2在未知文章中的權(quán)重為a₂，……，關(guān)鍵詞n在未知文章中的權(quán)重為a_n；

關(guān)鍵詞1在所述多個(gè)類中的權(quán)重為b₁，關(guān)鍵詞2在所述多個(gè)類中的權(quán)重為b₂，……，關(guān)鍵詞n在所述多個(gè)類中的權(quán)重為b_n；

則令

A*=(a₁×k₁,a₂×k₂,a₃×k₃,……,a_n×k_n)；

T=(b₁×k₁,b₂×k₂,b₃×k₃,……,b_n×k_n)；

定義為A*和T的相似度；

ⅱ分類：

當(dāng)未知文章的主軸與所述多個(gè)類的主軸的相似度大于設(shè)定的閾值0.15~0.20時(shí)，則判定該未知文章屬于該多個(gè)類中的某個(gè)類或某幾個(gè)類。