[發明專利]特征詞去重方法、裝置、設備及其存儲介質

在審

• 申請號: 201810852217.3
• 申請日: 2018-07-27
• 公開（公告）號: CN109062898A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 李利明
• 申請（專利權）人: 漢能移動能源控股集團有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/22
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

本申請公開了特征詞去重方法、裝置、設備及其存儲介質。該方法包括：獲取與特征詞集合中當前特征詞關聯的詞組集合；基于與詞組一一對應的ASCII碼計算詞組指定部分的和，得到第一和值集合；通過判斷第一和值集合中的最小值的個數來確定去重后的特征詞。根據本申請實施例的技術方案，通過計算ASCII碼的和的方式，對具有相同含義的特征詞進行去重，從而降低當前特征詞去重方法的計算復雜度，且節省了計算空間，并顯著地提高當前特征詞對文本的概括能力。

技術領域

本申請一般涉及但不限于語義分析技術領域，具體涉及特征詞去重方法、裝置、設備及其存儲介質。

背景技術

在自然語言處理技術中，自然語言中意義最小的單位是詞組或稱為單詞。通常來說，提取單個詞組作為特征詞的意義在于其能夠很好地概括文本的主要內容，并降低文本處理的復雜程度。現有技術基于文本提取特征詞的算法有很多，例如詞頻-反文檔頻率(TF-IDF)方法、信息增益等算法。

隨著技術的發展，從多篇文本中提取的特征詞之間可能存在多詞表述相同的含義，從而導致特征詞冗余。當前的特征詞去重技術，例如利用計算信息熵的方法提煉的特征詞，或者主成分分析法通過詞向量構成的向量空間映射到高維正交空間，再選擇方差貢獻大的特征維度等。但這些去重技術具有一定的主觀性，且不能滿足多篇文本提取的特征詞保持較好的一致性。

另外，現有的特征映射方法的計算復雜度太高。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種至少能夠降低計算復雜度的特征詞去重的技術方案。

第一方面，本申請實施例提供了一種特征詞去重方法，該方法包括：

獲取與特征詞集合中當前特征詞關聯的詞組集合；

基于與詞組一一對應的ASCII碼計算詞組指定部分的和，得到第一和值集合；

通過判斷第一和值集合中的最小值的個數來確定去重后的特征詞。

第二方面，本申請實施例提供了一種特征詞去重裝置，該裝置包括：

第一獲取單元，用于獲取與特征詞集合中當前特征詞關聯的詞組集合；

計算單元，用于基于與詞組一一對應的ASCII碼計算詞組指定部分的和，得到第一和值集合；

確定單元，用于通過判斷第一和值集合中的最小值的個數來確定去重后的特征詞。

第三方面，本申請實施例提供了一種計算機設備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，該處理器執行該程序時實現如本申請實施例描述的方法。

第四方面，本申請實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序用于：

該計算機程序被處理器執行時實現如本申請實施例描述的方法。

本申請實施例提供的特征詞去重的技術方案，通過計算特征詞的的關聯詞組的ASCII碼的指定部分的和，以及通過判斷其計算結果中最小值的個數，來對與特征詞關聯的詞組進行去重，從而降低當前特征詞去重方法的計算復雜度，且節省了計算空間，并顯著地提高當前特征詞對文本的概括能力。

進一步地，本申請實施例還通過預先構建的關聯詞詞庫，實現多篇文本提取的特征詞之間的高度一致，并為后期詞云構建和文本主旨提取等文本挖掘應用，提供了準確度的保障。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯：

圖1示出了本申請實施例提供的特征詞去重方法的流程示意圖；