[發明專利]一種基于詞語關聯的數據分割搜索方法

有效

• 申請號: 201810315126.6
• 申請日: 2018-04-10
• 公開（公告）號: CN108563735B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 錢仲文;王鋒華;張旭東;張建松;黃建平;陳浩;陳俊;紀德良;姜小建;楊少杰;吳翔;琚小明;邢雅菲;張全;于曉蝶
• 申請（專利權）人: 國網浙江省電力有限公司;浙江華云信息科技有限公司;華東師范大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31;G06F40/284
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于詞語關聯的數據分割搜索方法，該方法采用Apriori算法向下閉合來提取文本的頻繁詞集，根據活動的支持度選取文本恰當頻繁詞集合來分割文本，結合文本詞向量空間模型來幫助選取分割的文本構建索引的索引關鍵詞詞集，完成文本搜索的還原工作。本發明能夠達到原始的設計要求，同其它搜索方法相比，搜索更具有準確性，而且用戶可以自定義部分算法的變量來調整索引，具有良好的擴展性。

技術領域

本發明涉及搜索方法優化，具體說是一種基于詞語關聯的數據分割搜索方法，能夠應用于混合云環境中幫助實現更有效的搜索。

背景技術

云技術將網絡和數據挖掘等技術相結合，云環境下存儲的信息成本低，已經成為越來越多的企業和用戶存儲數據的工具。然而云存儲在為企業和用戶提供服務時也存在著相關問題：存儲在云端數據文本數據的非結構化特點和缺乏機器可理解的語義，造成在云存儲搜索時不能較精確的搜索到所需文本，云存儲搜索準確性主要體現的是針對文本特征信息的提取工作，云存儲的搜索方法一直是研究熱點。

構建分割數據搜索方法涉及兩個方面。基于詞匯關聯的文檔分割和索引的構建。關聯規則已經在商業等領域取得較為成功的應用。關聯詞集的獲取涉及到Apriori算法，Apriori算法是由Rakesh Agrawal在1994年提出的，首先提出了利用支持度對候選頻繁集進行剪枝處理的，利用系統的方法控制候選的頻繁集的指數增長。主要步驟分為兩步完成，第一步產生候選的頻繁集，然后對生成候選的頻繁詞集進行剪枝產生頻繁集，反復迭代后，最后找到最多項的頻繁集為止。

Apriori算法使用的重復迭代的方法，首先從1-項集開始，然后利用給定的支持度閾值minsup將頻繁的一項集剪枝，找到頻繁1-項集L1。根據先驗原理可知：某個項集是頻繁的話，則其所有子集必定一定也是頻繁的。在產生候選2-項集，記做為C2。產生候選2.項集之后再根據給定的minsup對候選2-項集C2進行剪枝，產生頻繁2.項集L2。依次類推，根據L2產生C3，將C3剪枝產生L3，…，直到產生最多項的頻繁項集LK為止。

對倒排索引來說，主要涉及兩個部分，倒排文本和索引文本，倒排文本中由存儲文本的關鍵詞組成，其中邏輯地址指向索引文本，索引文本由邏輯地址和文本的存儲地址組成。搜索時，用戶提供關鍵詞信息，根據關鍵詞信息在索引中查找符合的文本，一般基于塊的倒排索引構建分為幾個步驟：首先通過專門的中文分詞工具，參照詞匯表(例如中文詞匯表NLPIR)對文本進行分詞處理，對生成的詞匯表進行詞出現的數量和分布等因素進行統計(例如像TF-IDF算法)，隨后進行詞過濾，例如對于英文文本中的“in”,“too”等詞，中文中的“是”，“的”等詞一般都沒有實質的意義，但并不代表可以將這些詞過濾掉。分詞形成的標點符和空格都可以被去掉。有了生成的關鍵詞后，文本隨后都會被存儲而返回一個地址，最后文本提取的關鍵詞對應的索引關鍵詞詞條都將文本地址信息加入進去索引，完成對該文本的索引構建工作。

針對基于詞語關聯的數據分割搜索方法，采用Apriori算法幫助構建分割文本的索引存在下面兩個問題：

問題1：基于詞匯關聯文本分割和結合詞向量提取文本關鍵詞問題。不同于傳統的定長分割文本和隨機分割，另外，文本索引關鍵詞提取是詞向量和關聯詞結合。

問題2,：分割文本搜索的還原問題。傳統的搜索到的是整篇文本，采用分割策略后搜索到是文本塊，要考慮文本還原的次序和完整性問題。

發明內容

本發明的目的是提供一種基于詞語關聯的數據分割搜索方法，本發明能夠達到原始的設計要求，同其它搜索方法相比，搜索更具有準確性，同時，用戶可以自定義部分算法的變量來調整索引，具有良好的擴展性。

實現本發明目的的具體技術方案是：

一種基于詞語關聯的數據分割搜索方法，該方法包括以下具體步驟：

步驟1：獲取需要建索引文本的分詞集合；