[發明專利]特征詞去重方法、裝置、設備及其存儲介質

在審

• 申請號: 201810852217.3
• 申請日: 2018-07-27
• 公開（公告）號: CN109062898A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 李利明
• 申請（專利權）人: 漢能移動能源控股集團有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/22
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

1.一種特征詞去重方法，其特征在于，該方法包括：

獲取與特征詞集合中當前特征詞關聯的詞組集合；

基于與所述詞組一一對應的ASCII碼計算所述詞組指定部分的和，得到第一和值集合；

通過判斷所述第一和值集合中的最小值的個數來確定去重后的特征詞。

2.根據權利要求1所述的方法，其特征在于，所述基于與所述詞組一一對應的ASCII碼計算所述詞組指定部分的和，包括：

讀取指定參數；

選擇每個所述ASCII碼中與指定參數對應的ASCII碼值來求和，所述ASCII碼包括與所述詞組的字符一一對應的ASCII碼值，所述指定參數的取值為小于等于N的正整數，N為所述詞組集合中詞組長度的最大值，所述詞組長度為所述詞組包含的字符總數。

3.根據權利要求1或2所述的方法，其特征在于，所述通過判斷所述第一和值集合中的最小值的個數來確定去重后的特征詞，包括：

判斷所述第一和值集合中的所述最小值的個數是否唯一；

如果判斷所述最小值的個數是不唯一的，則更新指定參數；然后，返回基于與所述詞組一一對應的ASCII碼計算所述詞組指定部分的和，直到判斷所述最小值的個數是唯一的；

如果判斷所述最小值的個數是唯一的，則確定與該最小值對應的詞組為去重后的特征詞。

4.根據權利要求1所述的方法，其特征在于，該方法還包括：

獲取至少一個特征詞集合，每個所述特征詞集合包括按照詞頻逆向文檔頻率TF-IDF算法從分詞集合中提取的至少一個特征詞；

根據預先構建的關聯詞詞庫擴展所述特征詞，得到與該特征詞關聯的所述詞組集合。

5.根據權利要求4所述的方法，其特征在于，所述關聯詞詞庫包括至少一種詞組對應關系，所述詞組對應關系是按照預先建立矩陣關系構建的。

6.根據權利要求4或5所述的方法，其特征在于，該方法還包括：

對原始數據進行分詞處理；以及

利用停用詞詞庫篩選所述分詞處理的結果，得到所述分詞集合。

7.一種特征詞去重裝置，其特征在于，該裝置包括：

第一獲取單元，用于獲取與特征詞集合中當前特征詞關聯的詞組集合；

計算單元，用于基于與所述詞組一一對應的ASCII碼計算所述詞組指定部分的和，得到第一和值集合；

確定單元，用于通過判斷所述第一和值集合中的最小值的個數來確定去重后的特征詞。

8.根據權利要求7所述的裝置，其特征在于，所述計算單元，包括：

讀取子模塊，用于讀取指定參數；

求和子模塊，用于選擇每個所述ASCII碼中與指定參數對應的ASCII碼值來求和，所述ASCII碼包括與所述詞組的字符一一對應的ASCII碼值，所述指定參數的取值為小于等于N的正整數，N為所述詞組集合中詞組長度的最大值，所述詞組長度為所述詞組包含的字符總數。

9.根據權利要求7或8所述的裝置，其特征在于，所述確定單元包括：

判斷子模塊，用于判斷所述第一和值集合中的所述最小值的個數是否唯一；

更新子模塊，用于如果判斷所述最小值的個數是不唯一的，則更新指定參數；以及

返回子模塊，用于返回基于與所述詞組一一對應的ASCII碼計算所述詞組指定部分的和，直到判斷所述最小值的個數是唯一的；

確定子模塊，用于如果判斷所述最小值的個數是唯一的，則確定與該最小值對應的詞組為去重后的特征詞。

10.根據權利要求7所述的裝置，其特征在于，該裝置還包括：

第二獲取單元，用于獲取至少一個特征詞集合，每個所述特征詞集合包括按照詞頻逆向文檔頻率TF-IDF算法從分詞集合中提取的至少一個特征詞；

擴展單元，用于根據預先構建的關聯詞詞庫擴展所述特征詞，得到與該特征詞關聯的所述詞組集合。