[發明專利]一種基于扁平化算法的文本搜索方法

有效

• 申請號: 201710219456.0
• 申請日: 2017-04-06
• 公開（公告）號: CN107016092B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 歐陽建權;周晴宇;鄭浩;劉天明
• 申請（專利權）人: 湘潭大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 11394 北京卓恒知識產權代理事務所(特殊普通合伙)
• 代理人: 徐樓<國際申請>=<國際公布>=<進入國

一種基于扁平化算法的文本搜索方法，其特征在于：該方法包括以下步驟：1)獲取文本摘要，形成文檔集；2)對文檔集中的文檔進行斷句，獲得句子集合；3)對句子集合進行分詞，獲取詞集合；4)計算詞集合中任意兩個詞之間的共現次數；5)以詞為節點，共現次數為邊，構建無向加權圖；6)根據用戶提交的關鍵詞集合，確定任意一組關鍵詞在無向加權圖中的關聯關系；7)以扁平化算法計算并還原詞與詞之間的路徑，以圖片的形式呈現關聯關系。本發明采用扁平化算法計算并還原路徑，以圖片的方式呈現關聯關系，極大提高了搜索的召回率與準確率。

技術領域

本發明涉及信息檢索領域，具體涉及一種基于扁平化算法的文本搜索方法。

背景技術

當前Web檢索主要采用PageRank、Hilltop算法，利用外鏈進行檢索。純文本檢索方面則采用BM25公式，主要在計算查詢詞與某個文本的相關的功能性。但當前的搜索引擎在召回率和準確率上約為48％，未有超過50％的算法。

本申請采用的文本搜索方法基于扁平化算法，借鑒基本的共現關系的頻次、權重，圖片搜索方法深度優先、廣度優先以及剪枝的原理，實現在毫秒級時間內準確查找到若干詞之間的關聯關系。

發明內容

針對上述現有技術中的不足，本發明的目的在于提供一種基于扁平化算法的文本搜索方法，該方法采用扁平化算法計算并還原路徑，以圖片的方式呈現關聯關系，極大提高了搜索的召回率與準確率。

根據本發明的實施方案，提供一種基于扁平化算法的文本搜索方法。

一種基于扁平化算法的文本搜索方法，該方法包括以下步驟：

1)獲取文本摘要，形成文檔集D；

2)對文檔集D中的文檔進行斷句，d_i(d_i∈D)，獲得句子集合

3)對句子集合進行分詞，獲取詞集合

4)計算詞集合中任意兩個詞之間的共現次數f_c；

5)以詞W_k為節點，共現次數f_c為邊，構建無向加權圖；

6)根據用戶提交的關鍵詞集合K＝{k_i|i＝1,2,3...n}，確定任意一組關鍵詞在無向加權圖中的關聯關系；

7)以扁平化算法計算并還原詞與詞之間的路徑，以圖片的形式呈現關聯關系。

在本發明中，步驟2)中所述對文檔集D中的文檔進行斷句的具體操作為：

以句號、分號、感嘆號、問號和換行符等符號作為分隔符，將文本(即，字符串)分隔成多個子串，即句子。

在本發明中，步驟3)中所述分詞的具體規則為：

采用最短路分詞算法，設需要分詞的字符串為a₁，a₂，a₃...，a_s；

1)以字為頂點建立字圖；

2)從字符串中匹配出詞典中存在的詞，在字圖中搭建新的邊(如圖5所示)。

3)計算首個字符至結尾字符之間的最短路徑。該路徑上的頂點即為分詞的結果。

在本發明中，步驟4)中所述計算詞集合中任意兩個詞之間的共現次數具體為：將詞集合中任意兩個詞分組，計算任意一組詞在句子集合中的所有句子中共同出現的次數。