[發(fā)明專利]一種基于語義分析的文本關(guān)鍵信息提取方法及裝置

有效

• 申請?zhí)枺?/td>: 201711332910.X
• 申請日: 2017-12-13
• 公開（公告）號: CN108052500B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 任東英;朱瑾鵬
• 申請（專利權(quán)）人: 北京數(shù)洋智慧科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F40/284
• 代理公司: 北京正鼎專利代理事務(wù)所(普通合伙) 11495
• 代理人: 岳亞

1.一種基于語義分析的文本關(guān)鍵信息提取方法，其特征在于，包括：

將待處理文本以漢字為單位進(jìn)行分割，形成字串c₁，c₂，...，c_i，c_i+1，...，c_n，其中，c_i表征一個漢字，n為所述文本中漢字總數(shù)；

計算相鄰的任意兩個所述漢字c_i，c_i+1的點間互信息、左鄰信息熵和右鄰信息熵；若所述點間互信息、左鄰信息熵和右鄰信息熵均滿足第一預(yù)設(shè)閾值，則合并兩個漢字為一個字符串；

直到無法對所述文本中相鄰漢字進(jìn)行合并為止，所述文本的劃分結(jié)果為T：t₁，t₂，...，t_k，...，t_m，其中，t_k為字、詞、短語或短句的字符串，m為所述文本中字、詞、短語或短句的字符串的總數(shù)；

取所述t_k中長度大于1且不屬于停止詞的字、詞、短語或短句的字符串，作為候選字符串，計算各個候選字符串的權(quán)重；

將所述權(quán)重大于第二預(yù)設(shè)閾值的若干個所述候選字符串作為所述文本的關(guān)鍵信息；

所述計算各個候選字符串權(quán)重，包括：

針對文本劃分結(jié)果T：t₁，t₂，...，t_k，...，t_m，取長度大于2且出現(xiàn)頻率大于設(shè)定值f的字符串作為候選字符串；

計算候選字符串t_k的外部豐富度ec(t_k)，公式如下：

其中，w_i為第i個句子的字符串總數(shù)，C為將所有句子中相同字符串進(jìn)行合并后，得到的互不相同的字符串類型數(shù)；

統(tǒng)計計算t_k的出現(xiàn)頻次tf和逆文檔頻率idf；

計算候選字符串t_k的權(quán)重weigth(t_k)，公式如下：

其中：D為文本集合中的文本總數(shù)，D_w為包含t_k的文本數(shù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述計算相鄰的任意兩個所述漢字c_i，c_i+1的點間互信息、左鄰信息熵和右鄰信息熵；若所述點間互信息、左鄰信息熵和右鄰信息熵均滿足第一預(yù)設(shè)閾值，則合并兩個漢字為一個字符串，包括：

計算相鄰的任意兩個所述字、詞、短語或短句的字符串的點間互信息、左鄰信息熵和右鄰信息熵；若所述點間互信息、左鄰信息熵和右鄰信息熵均滿足第一預(yù)設(shè)閾值，則合并兩個字、詞、短語或短句的字符串為一個字符串。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述點間互信息、左鄰信息熵和右鄰信息熵根據(jù)如下公式計算：

點間互信息PMI，左鄰信息熵LE，右鄰信息熵RE，具體公式如下：

其中，P(c_i，c_i+1)為c_i，c_i+1共同出現(xiàn)的概率，P(c_i)為c_i出現(xiàn)的概率，L為c_i，c_i+1左鄰元素的集合，R為c_i，c_i+1右鄰元素的集合。

4.如權(quán)利要求1所述的方法，其特征在于，所述點間互信息、左鄰信息熵和右鄰信息熵均滿足第一預(yù)設(shè)閾值，包括：

設(shè)置預(yù)設(shè)閾值ε₁，ε₂，當(dāng)PMI＞ε₁且min(LE，RE)＞ε₂時，即合并兩個漢字c_i，c_i+1為一個字符串；所述PMI為點間互信息，LE為左鄰信息熵，RE為右鄰信息熵。