[發(fā)明專利]一種政務(wù)文章標(biāo)題關(guān)鍵字提取方法、設(shè)備及存儲設(shè)備

有效

• 申請?zhí)枺?/td>: 202310467705.3
• 申請日: 2023-04-27
• 公開（公告）號: CN116187307B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 李穎;陳勝鵬;梅龍
• 申請（專利權(quán)）人: 吉奧時空信息技術(shù)股份有限公司
• 主分類號: G06F40/258
• 分類號: G06F40/258;G06F40/216;G06F40/289;G06F40/30;G06F18/22
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權(quán)代理有限公司 42238
• 代理人: 王佩

本發(fā)明涉及一種政務(wù)文章標(biāo)題提取方法、設(shè)備及存儲設(shè)備，方法包括以下步驟：獲取短文本集合A，提取A中的一個短文本a，并從a中提取分詞結(jié)果T；從T中選擇詞語Tsubgt;i/subgt;，計算其逆文本頻率值IDF；根據(jù)IDF對a預(yù)處理，得到短文本a`及對應(yīng)的分詞結(jié)果T`；計算T`中關(guān)鍵詞詞語Tsubgt;i/subgt;`的語義相似度Psubgt;i/subgt;；在a`首尾處各補充一個占位符，得到短文本及其對應(yīng)的分詞結(jié)果；根據(jù)Psubgt;i/subgt;計算的詞語的得分；計算由相鄰兩個關(guān)鍵詞和組成的關(guān)鍵短語的得分；按關(guān)鍵詞短語得分，由高到低輸出提取結(jié)果。有益效果是：綜合考慮了詞語詞頻、詞間關(guān)聯(lián)關(guān)系和語義相似度，有效提高了短文本標(biāo)題尤其是政務(wù)網(wǎng)文章標(biāo)題關(guān)鍵字的提取精度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種政務(wù)文章標(biāo)題提取方法、設(shè)備及存儲設(shè)備。

背景技術(shù)

一段文本的關(guān)鍵詞是指最能代表文本核心關(guān)鍵內(nèi)容的詞匯，關(guān)鍵短語則指相鄰關(guān)鍵詞的組合。在構(gòu)建文件搜索系統(tǒng)時，往往需要首先提取文章標(biāo)題的關(guān)鍵詞和關(guān)鍵短語，進而建立關(guān)鍵詞或關(guān)鍵短語與文件的關(guān)聯(lián)關(guān)系或索引映射，從而實現(xiàn)基于關(guān)鍵詞或關(guān)鍵短語的文件快速搜索。

TextRank是一種基于圖排序的文本關(guān)鍵詞提取算法，它利用關(guān)鍵詞在窗口中的共現(xiàn)關(guān)系，在相關(guān)聯(lián)候選關(guān)鍵詞之間建立連邊，形成詞共現(xiàn)網(wǎng)絡(luò)，通過迭代計算得到每個關(guān)鍵詞的權(quán)重。在固定窗口長度下，其算法結(jié)果與詞頻、詞所處位置相關(guān)，多用于長文本關(guān)鍵詞、關(guān)鍵短語及關(guān)鍵句提取。傳統(tǒng)的TextRank算法，如CN109918660A?一種基于TextRank的關(guān)鍵詞提取方法和裝置、CN114328865A?一種改進的TextRank多特征融合教育資源關(guān)鍵詞提取方法、CN110728136A?一種融合多因素的textrank關(guān)鍵詞提取算法等，在TextRank算法基礎(chǔ)上增加了詞語長度、詞性對關(guān)鍵詞得分的影響，其在長文本關(guān)鍵字提取應(yīng)用中表現(xiàn)良好，但并不適用于政務(wù)文章這類短文本的提取情況，其原因主要如下：

（1）在政務(wù)文章標(biāo)題等短文本中，詞語一般較為簡單，詞語一般不會重復(fù)出現(xiàn)，因而詞頻固定；

（2）在政務(wù)文章標(biāo)題等短文本中，詞語長度一般固定為2-3個字，且詞長一般不影響詞匯的關(guān)鍵性；

（3）在政務(wù)文章標(biāo)題等短文本中，詞性一般單一或固定，多以名詞為主。

傳統(tǒng)方法中，對于詞位置的處理是設(shè)置為中間權(quán)重大，兩端小，但在文章標(biāo)題等短文本中，詞位置對詞關(guān)鍵性的影響較為隨機。因此傳統(tǒng)的TextRank算法提取其短文本關(guān)鍵詞，或者即使能夠提取，但其提取的準(zhǔn)確度較低。

發(fā)明內(nèi)容

為解決傳統(tǒng)TextRank算法提取其短文本關(guān)鍵詞不適用或準(zhǔn)確度低的技術(shù)問題，本發(fā)明提出了一種政務(wù)文章標(biāo)題提取方法、設(shè)備及存儲設(shè)備，其中，方法采取兩端補充占位符的方式，消解詞位置對關(guān)鍵性的影響，同時通過融合語義相似度，改進傳統(tǒng)的TextRank計算公式，使得計算結(jié)果能夠兼顧語義相似度與詞共現(xiàn)關(guān)系，從而提升關(guān)鍵詞提取準(zhǔn)確度。

本發(fā)明供的一種政務(wù)文章標(biāo)題提取方法，具體包括以下步驟：