[發明專利]基于文本聚類的信息提取方法、裝置及可讀存儲介質有效
| 申請號: | 201810618205.4 | 申請日: | 2018-06-14 |
| 公開(公告)號: | CN108959453B | 公開(公告)日: | 2021-08-27 |
| 發明(設計)人: | 尹帆;張廣凱;孫翀;宋中山;莫海芳;夏夢 | 申請(專利權)人: | 中南民族大學 |
| 主分類號: | G06F16/35 | 分類號: | G06F16/35;G06F40/289;G06F40/216 |
| 代理公司: | 深圳市世紀恒程知識產權代理事務所 44287 | 代理人: | 胡海國 |
| 地址: | 430074 湖北省武漢*** | 國省代碼: | 湖北;42 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 文本 信息 提取 方法 裝置 可讀 存儲 介質 | ||
本發明公開了一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質,本發明將待處理的商品評論信息作為待處理樣文本,并設定好頻繁詞篩選權重值,按照頻繁詞篩選權重值對待處理樣本文本進行文本預處理、文本聚類以及樣本數據剪枝這三個階段的處理,進而能夠提高待處理的商品評論信息的文本聚類精度,在面對復雜繁多的商品評論信息量時得到更加精確、更有價值的信息,能夠解決目前傳統的文本聚類法在面對存在的文本長尾現象無法有效進行文本聚類的問題,對于在解決文本長尾現象聚類的問題中起到了很好的作用,提高了聚類的精確度。
技術領域
本發明涉及計算機信息技術領域,尤其涉及一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質。
背景技術
目前在商業信息檢索方面或者信息提取方面存在一些不足,目前在信息檢索方面大多都是通過文本聚類的方法實現的,但是由于目前一些常規的文本聚類方法存在一定的局限性,即聚類精度不夠高,正由于聚類精度不夠高會導致商業信息檢索方面或者信息提取方面不能有效地找到處理中的文本信息的長尾信息。
例如,現在網店越來越多,一些店家為了能夠迎合消費者的興趣愛好,一般會根據消費者對商品的評論量來參考進貨的數量。在評論中,被評論次數最多的前三個商品肯定是賣家首要進貨的商品,但是評論量排名位于第四位、第五位、第六位、第七位…第十位的商品呢?而這些商品的被評論信息就是屬于“長尾”部分的信息,雖然他們單個商品的評論量不是很多,可能單個商品的盈利不是很多,但是他們評論信息總量和盈利總和加起來,是遠遠超多前三的商品的。如何挖掘評論量排名位于第四位、第五位、第六位、第七位…第十位的商品的評論信息,來給賣家提供信息指導,使賣家能做出更加準確地商品進貨方案,提高店家利潤,目前還沒有很好的研究。針對上述現象,雖然目前已有的很大一部分的聚類算法,但都不能很好的解決短文本聚類的長尾問題;并且,文本集當中長尾部分文本的信息在傳統的文本聚類當中被忽視,但是往往這一部分所蘊含的信息大,是很有價值,這對于信息的提取是一個很大的損失。
發明內容
本發明的主要目的在于提供了一種基于文本聚類的信息提取方法、裝置以及可讀存儲介質,旨在解決目前在面對復雜繁多的商品評論信息量時,如何通過提高文本聚類精度得到更加精確更有價值的信息的問題。
為實現上述目的,本發明提供了一種基于文本聚類的信息提取方法,所述方法包括以下步驟:
S1,將待處理的商品評論信息作為待處理樣文本,并設定頻繁詞篩選權重值;將設定好的頻繁詞篩選權重值作為第一預設頻繁詞篩選權重值;
S2,分別對各個待處理樣本文本dj進行分詞和詞性標注操作,獲得指定待處理樣本文本dj對應的具有詞性標注的特征詞集合{Ti};
S3,對所述指定待處理樣本文本dj的特征詞集合{Ti}中的每個特征詞Ti分別進行詞頻計算和逆文檔頻率計算,以獲得每個特征詞Ti的詞頻和逆文檔頻率;
S4,分別根據各特征詞Ti對應的詞頻和所述逆文檔頻率計算對應的特征詞Ti在所述指定待處理樣本文本dj中的權重值;
S5,從所述指定待處理樣本文本dj的特征詞集合{Ti}中選取權重值大于第一預設頻繁詞篩選權重值的目標特征詞Tj,將所述目標特征詞Tj作為所述指定待處理樣本文本dj的頻繁詞fi;
S6,結合所述指定待處理樣本文本構建所述頻繁詞的文本矩陣M,其中,M[i][j]表示矩陣M對應的待處理樣本文本dj中頻繁詞fi的值,每個待處理樣本文本dj的表現形式為由0、1構成的n維向量表示;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中南民族大學,未經中南民族大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810618205.4/2.html,轉載請聲明來源鉆瓜專利網。
- 信息記錄介質、信息記錄方法、信息記錄設備、信息再現方法和信息再現設備
- 信息記錄裝置、信息記錄方法、信息記錄介質、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄設備、信息重放設備、信息記錄方法、信息重放方法、以及信息記錄介質
- 信息存儲介質、信息記錄方法、信息重放方法、信息記錄設備、以及信息重放設備
- 信息存儲介質、信息記錄方法、信息回放方法、信息記錄設備和信息回放設備
- 信息記錄介質、信息記錄方法、信息記錄裝置、信息再現方法和信息再現裝置
- 信息終端,信息終端的信息呈現方法和信息呈現程序
- 信息創建、信息發送方法及信息創建、信息發送裝置





