[發明專利]基于SparkMLlib文檔分類的類庫構建方法及系統

在審

• 申請號: 201710639999.8
• 申請日: 2017-07-31
• 公開（公告）號: CN107577708A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 刁志剛;耿星;薛嶺
• 申請（專利權）人: 北京北信源軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 古利蘭,王寶筠

1.一種基于SparkMLlib文檔分類的類庫構建方法，其特征在于，包括：

獲取所述SparkMLlib的運行參數，其中，所述運行參數包括平滑參數和模型類型；

去除已分類目標文檔的類內高重復項；

對所述目標文檔的已知的分類類庫中的分類項進行聚類，去除類內相似項；

基于夾角余弦定理去除類內過離散項，生成新的文檔分類的類庫。

2.根據權利要求1所述的方法，其特征在于，所述基于夾角余弦定理去除類內離群值，生成新的文檔分類的類庫后，還包括：

基于所述新的文檔分類的類庫對文檔進行分類。

3.根據權利要求1所述的方法，其特征在于，所述對所述目標文檔的已知的分類類庫中的分類項進行聚類，去除類內相似項具體為：

對所述目標文檔的已知的分類類庫中的分類項進行聚類，基于皮爾遜相關系數法去除類內相似項。

4.根據權利要求3所述的方法，其特征在于，所述對所述目標文檔的已知的分類類庫中的分類項進行聚類，基于皮爾遜相關系數法去除類內相似項包括：

基于所有已知的分類類庫中的分類項，基于公式分別兩兩計算其相關系數Corr(X,Y)，其中，n表示文檔詞總量，X和Y分別為文檔標識,x，y分別表示文檔X和Y的分詞之后的詞向量各個位置的分量；

在同一類里，對于與文檔a的詞頻向量相關系數超過指定(人為設定，不能太小)的閾值的一系列文檔{ai}詞頻向量，計算其重心，作為描述{ai}的新的詞頻特征向量。

5.根據權利要求1所述的方法，其特征在于，所述基于夾角余弦定理去除類內過離散項，生成新的文檔分類的類庫包括：

基于公式計算類內兩兩向量之間的向量間距，其中，X和Y分別表示兩個文檔所有詞組的詞頻組成的文檔詞頻特征向量；

基于上述公式計算出兩個文檔之間的詞頻向量夾角；

通過計算類內兩兩向量之間的夾角刪選間距值累計距離較大的向量。

6.一種基于SparkMLlib文檔分類的類庫構建系統，其特征在于，包括：

獲取模塊，用于獲取所述SparkMLlib的運行參數，其中，所述運行參數包括平滑參數和模型類型；

第一去除模塊，用于去除已分類目標文檔的類內高重復項；

第二去除模塊，用于對所述目標文檔的已知的分類類庫中的分類項進行聚類，去除類內相似項；

生成模塊，用于基于夾角余弦定理去除類內過離散項，生成新的文檔分類的類庫。

7.根據權利要求6所述的系統，其特征在于，還包括：

分類模塊，用于基于所述新的文檔分類的類庫對文檔進行分類。

8.根據權利要求6所述的系統，其特征在于，所述第二去除模塊具體用于：

對所述目標文檔的已知的分類類庫中的分類項進行聚類，基于皮爾遜相關系數法去除類內相似項。

9.根據權利要求8所述的系統，其特征在于，所述第二去除模塊具體用于：

基于所有已知的分類類庫中的分類項，基于公式分別兩兩計算其相關系數Corr(X,Y)，其中，n表示文檔詞總量，X和Y分別為文檔標識,x，y分別表示文檔X和Y的分詞之后的詞向量各個位置的分量；

在同一類里，對于與文檔a的詞頻向量相關系數超過指定的閾值的一系列文檔{ai}詞頻向量，計算其重心，作為描述{ai}的新的詞頻特征向量。

10.根據權利要求6所述的系統，其特征在于，所述生成模塊具體用于：

基于公式計算類內兩兩向量之間的向量間距，其中，X和Y分別表示兩個文檔所有詞組的詞頻組成的文檔詞頻特征向量；

基于上述公式計算出兩個文檔之間的詞頻向量夾角；

通過計算類內兩兩向量之間的夾角刪選間距值累計距離較大的向量。