[發明專利]一種基于最細粒度切分的數據索引方法及系統

在審

• 申請號: 202010779832.3
• 申請日: 2020-08-05
• 公開（公告）號: CN112100313A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 孔平;靳占新;王剛;戚魯鳳;欒松濤;魏升吉;李玉華;董文杰;朱俞霖;柳明輝
• 申請（專利權）人: 山東魯能軟件技術有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F40/289;G06F40/284
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于最細粒度切分的數據索引方法及系統，包括：提取待處理的原文本的關鍵詞，對關鍵詞進行最細粒度的切分，形成若干單個候選微分詞；單個候選微分詞通過與全業務數據中心進行匹配，篩選得到索引關鍵詞組；按照優先級順序對所述索引關鍵詞組中的各索引關鍵詞進行排序，確定每一個索引關鍵詞所屬詞匯類別的權重；按照各索引關鍵詞的排序進行順次索引。本發明索引過程中學習性較強，可以根據用戶檢索詞匯類別權重進行有效的學習并更新存儲；能夠解決傳統分詞算法方式粗狂、集成繁瑣、有效索引比率低等問題。

技術領域

本發明屬于數據索引技術領域，尤其涉及一種基于最細粒度切分的數據索引方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

中文分詞(Chinese Word Segmentation)就是將一個漢字序列切分成一個個單獨的詞的過程，它是進行數據索引的基礎。在實際應用領域，分詞能夠更加細致、準確、快速的匹配、查詢、獲得結果集。

現有技術在進行數據索引時，往往采用分詞器進行分詞，基于詞典中存儲的詞進行匹配實現分詞，但是這種方式的分詞結果準確性僅依賴于詞典中的詞匯量，往往偏離用戶真正要表達的意思，從而導致數據檢索結果不準確。比如：可能將“山東大學男”分詞為“山東大”“學男”。

另外，在進行數據索引時，由于分詞的準確性和有效性偏低，導致數據處理量大，搜索效率低下，對服務器的性能要求較高。

發明內容

本發明為了解決上述問題，提出了一種基于最細粒度切分的數據索引方法及系統，能夠解決傳統分詞算法方式粗狂、集成繁瑣、有效索引比率低等問題，另外通過適配全業務數據中心，極大的保證了搜索結果的準確性和搜索效率。

在一些實施方式中，采用如下技術方案：

一種基于最細粒度切分的數據索引方法，包括：

提取待處理的原文本的關鍵詞，對關鍵詞進行最細粒度的切分，形成若干單個候選微分詞；

所述單個候選微分詞通過與全業務數據中心進行匹配，篩選得到索引關鍵詞組；

按照優先級順序對所述索引關鍵詞組中的各索引關鍵詞進行排序，確定每一個索引關鍵詞所屬詞匯類別的權重；

按照各索引關鍵詞的排序進行順次索引。

作為進一步地方案，單個索引關鍵詞進行索引時，優先反饋權重最高的詞匯類別對應的索引結果。

作為進一步地方案，按照各索引關鍵詞的排序進行順次索引，具體過程為：

在前一個索引關鍵詞對應的索引結果的基礎上，檢索下一個索引關鍵詞對應的檢索結果。

作為進一步地方案，所述全業務數據中心包括詞庫，所述詞庫中包括關鍵詞、每一個關鍵詞對應的優先級、每一個關鍵詞所屬的不同詞匯類別的權重，以及每一個關鍵詞的索引路徑。

作為進一步地方案，所述每一個關鍵詞對應的優先級根據業務需求預先設定；所述關鍵詞所屬的不同詞匯類別的權重根據用戶對索引結果的響應次數確定。

作為進一步地方案，按照各索引關鍵詞的排序進行順次索引之后，基于用戶對得到的索引結果的響應結果，對全業務數據中心中索引關鍵詞所屬詞匯類別的權重進行更新。

作為進一步地方案，將新出現的關鍵詞、對應索引路徑以及對應的索引關鍵詞的優先級存儲到全業務數據中心，并根據用戶對每次索引結果的響應，對關鍵詞所屬詞匯類別的權重進行更新。

在另一些實施方式中，采用如下技術方案：

一種基于最細粒度切分的數據索引系統，其特征在于包括：