[發明專利]基于文本聚類的信息提取方法、裝置及可讀存儲介質

有效

• 申請號: 201810618205.4
• 申請日: 2018-06-14
• 公開（公告）號: CN108959453B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 尹帆;張廣凱;孫翀;宋中山;莫海芳;夏夢
• 申請（專利權）人: 中南民族大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F40/216
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質，本發明將待處理的商品評論信息作為待處理樣文本，并設定好頻繁詞篩選權重值，按照頻繁詞篩選權重值對待處理樣本文本進行文本預處理、文本聚類以及樣本數據剪枝這三個階段的處理，進而能夠提高待處理的商品評論信息的文本聚類精度，在面對復雜繁多的商品評論信息量時得到更加精確、更有價值的信息，能夠解決目前傳統的文本聚類法在面對存在的文本長尾現象無法有效進行文本聚類的問題，對于在解決文本長尾現象聚類的問題中起到了很好的作用，提高了聚類的精確度。

技術領域

本發明涉及計算機信息技術領域，尤其涉及一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質。

背景技術

目前在商業信息檢索方面或者信息提取方面存在一些不足，目前在信息檢索方面大多都是通過文本聚類的方法實現的，但是由于目前一些常規的文本聚類方法存在一定的局限性，即聚類精度不夠高，正由于聚類精度不夠高會導致商業信息檢索方面或者信息提取方面不能有效地找到處理中的文本信息的長尾信息。

例如，現在網店越來越多，一些店家為了能夠迎合消費者的興趣愛好，一般會根據消費者對商品的評論量來參考進貨的數量。在評論中，被評論次數最多的前三個商品肯定是賣家首要進貨的商品，但是評論量排名位于第四位、第五位、第六位、第七位…第十位的商品呢？而這些商品的被評論信息就是屬于“長尾”部分的信息，雖然他們單個商品的評論量不是很多，可能單個商品的盈利不是很多，但是他們評論信息總量和盈利總和加起來，是遠遠超多前三的商品的。如何挖掘評論量排名位于第四位、第五位、第六位、第七位…第十位的商品的評論信息，來給賣家提供信息指導，使賣家能做出更加準確地商品進貨方案，提高店家利潤，目前還沒有很好的研究。針對上述現象，雖然目前已有的很大一部分的聚類算法，但都不能很好的解決短文本聚類的長尾問題；并且，文本集當中長尾部分文本的信息在傳統的文本聚類當中被忽視，但是往往這一部分所蘊含的信息大,是很有價值，這對于信息的提取是一個很大的損失。

發明內容

本發明的主要目的在于提供了一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質，旨在解決目前在面對復雜繁多的商品評論信息量時，如何通過提高文本聚類精度得到更加精確更有價值的信息的問題。

為實現上述目的，本發明提供了一種基于文本聚類的信息提取方法，所述方法包括以下步驟：

S1，將待處理的商品評論信息作為待處理樣文本，并設定頻繁詞篩選權重值；將設定好的頻繁詞篩選權重值作為第一預設頻繁詞篩選權重值；

S2，分別對各個待處理樣本文本d_j進行分詞和詞性標注操作，獲得指定待處理樣本文本d_j對應的具有詞性標注的特征詞集合{T_i}；

S3，對所述指定待處理樣本文本d_j的特征詞集合{T_i}中的每個特征詞T_i分別進行詞頻計算和逆文檔頻率計算，以獲得每個特征詞T_i的詞頻和逆文檔頻率；

S4，分別根據各特征詞T_i對應的詞頻和所述逆文檔頻率計算對應的特征詞T_i在所述指定待處理樣本文本d_j中的權重值；

S5，從所述指定待處理樣本文本d_j的特征詞集合{T_i}中選取權重值大于第一預設頻繁詞篩選權重值的目標特征詞T_j，將所述目標特征詞T_j作為所述指定待處理樣本文本d_j的頻繁詞f_i；

S6，結合所述指定待處理樣本文本構建所述頻繁詞的文本矩陣M，其中，M[i][j]表示矩陣M對應的待處理樣本文本d_j中頻繁詞f_i的值，每個待處理樣本文本d_j的表現形式為由0、1構成的n維向量表示；