[發明專利]基于文本聚類的信息提取方法、裝置及可讀存儲介質

有效

• 申請號: 201810618205.4
• 申請日: 2018-06-14
• 公開（公告）號: CN108959453B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 尹帆;張廣凱;孫翀;宋中山;莫海芳;夏夢
• 申請（專利權）人: 中南民族大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F40/216
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種基于文本聚類的信息提取方法，其特征在于，所述方法包括：

S1，將待處理的商品評論信息作為待處理樣文本，并設定頻繁詞篩選權重值；將設定好的頻繁詞篩選權重值作為第一預設頻繁詞篩選權重值；

S2，分別對各個待處理樣本文本d_j進行分詞和詞性標注操作，獲得指定待處理樣本文本d_j對應的具有詞性標注的特征詞集合{T_i}；

S3，對所述指定待處理樣本文本d_j的特征詞集合{T_i}中的每個特征詞T_i分別進行詞頻計算和逆文檔頻率計算，以獲得每個特征詞T_i的詞頻和逆文檔頻率；

S4，分別根據各特征詞T_i對應的詞頻和所述逆文檔頻率計算對應的特征詞T_i在所述指定待處理樣本文本d_j中的權重值；

S5，從所述指定待處理樣本文本d_j的特征詞集合{T_i}中選取權重值大于第一預設頻繁詞篩選權重值的目標特征詞T_j，將所述目標特征詞T_j作為所述指定待處理樣本文本d_j的頻繁詞f_i；

S6，結合所述指定待處理樣本文本構建所述頻繁詞的文本矩陣M，其中，M[i][j]表示矩陣M對應的待處理樣本文本d_j中頻繁詞f_i的值，每個待處理樣本文本d_j的表現形式為由0、1構成的n維向量表示；

S7，通過預設聚類算法隨機從各待處理樣本文本對應的n維向量中選取k個具有代表性的n維向量作為類簇的中心點，并利用預設相似度定理計算每一個n維向量與這k個向量之間夾角θ；

S8，在所述夾角θ小于預設夾角閾值時，將所述夾角對應的向量所表示的待處理樣本文本聚類到該中心點所代表的簇當中，并得到k個聚類之后的簇；

S9，分別從得到k個聚類之后的簇中提取數量為m的目標頻繁詞，將提取到的各目標頻繁詞進行展示；

其中，所述步驟S9具體包括：

分別從得到k個聚類之后的簇中提取數量為m的目標頻繁詞；

分別剔除各待處理樣本文本中包含所述目標頻繁詞的文檔，以實現對各待處理樣本文本的剪枝處理；

返回并重新執行所述步驟S3和步驟S4，在經剪枝處理后的樣本文本的每個特征詞的權重值小于所述聚類結束閾值時，將提取到的各目標頻繁詞進行展示；

或

在經剪枝處理后的樣本文本的每個特征詞的權重值不小于所述聚類結束閾值時，返回并執行所述步驟S5。

2.如權利要求1所述的方法，其特征在于，所述步驟S3具體包括：

對所述指定待處理樣本文本dj的特征詞集合{Ti}中的每個特征詞Ti分別通過以下公式(1)進行詞頻計算，以獲得每個特征詞Ti的詞頻；

其中，tf_ij表示指定待處理樣本文本dj的特征詞集合{Ti}中的每個特征詞T_i的詞頻；

對所述指定待處理樣本文本d_j的特征詞集合{T_i}中的每個特征詞T_i分別通過以下公式(2)進行逆文檔頻率計算，以獲得每個特征詞T_i的逆文檔頻率；

其中，idf_j表示指定待處理樣本文本dj的特征詞集合{Ti}中的每個特征詞T_i的逆文檔頻率。

3.如權利要求2所述的方法，其特征在于，所述步驟S7中所述利用預設相似度定理計算每一個n維向量與這k個向量之間夾角θ，具體包括：

利用預設余弦相似度定理計算每一個n維向量與這k個向量之間夾角θ。

4.如權利要求3所述的方法，其特征在于，所述步驟S9之前，還包括：

設定聚類結束閾值。