[發明專利]一種基于切詞的多層次檢索方法

在審

• 申請號: 201711212961.9
• 申請日: 2017-11-28
• 公開（公告）號: CN107798144A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 胡偉東
• 申請（專利權）人: 北京小度互娛科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,王艷春

1.一種基于切詞的多層次檢索方法，包括：

獲得檢索文本的檢索基礎分詞；

通過將所述檢索基礎分詞進行組合形成所述檢索文本的檢索組合分詞；以及

使用所述檢索文本的檢索基礎分詞和檢索組合分詞，搜索語料庫中的文本數據以獲得所述檢索文本的檢索結果。

2.根據權利要求1所述的方法，其中，獲得檢索文本的檢索基礎分詞的步驟包括：

對所述檢索文本進行切詞處理，生成所述檢索文本的檢索基礎分詞。

3.根據權利要求2所述的方法，其中，所述檢索組合分詞包括第一檢索組合分詞和第二檢索組合分詞，

通過將所述檢索基礎分詞進行組合形成所述檢索文本的檢索組合分詞的步驟包括：

對所述檢索基礎分詞進行合并，生成所述第一檢索組合分詞；以及

對所述第一檢索組合分詞進行合并，生成所述第二檢索組合分詞。

4.根據權利要求1所述的方法，還包括：

在進行檢索之前，對所述語料庫中的文本數據進行切詞處理，獲得所述文本數據的文本基礎分詞；以及

通過將所述文本基礎分詞進行組合形成所述文本數據的文本組合分詞。

5.根據權利要求4所述的方法，所述文本組合分詞包括第一文本組合分詞和第二文本組合分詞，

通過將所述文本基礎分詞進行組合形成所述文本數據的文本組合分詞的步驟包括：

將所述文本基礎分詞之間距離是1或2的文本基礎分詞進行合并，生成所述第一文本組合分詞；以及

將所述第一文本組合分詞之間距離是1或2的第一文本組合分詞進行合并，生成所述第二文本組合分詞。

6.根據權利要求1至5中任一項所述的方法，使用所述檢索文本的檢索基礎分詞和檢索組合分詞，搜索語料庫中的文本數據以獲得所述檢索文本的檢索結果的步驟包括：

將所述檢索文本的檢索基礎分詞和檢索組合分詞與所述文本數據的文本基礎分詞和文本組合分詞進行比對，以獲得所述檢索文本的檢索結果。

7.根據權利要求6所述的方法，還包括：為所述文本數據的文本基礎分詞和文本組合分詞創建倒排索引，

將所述檢索文本的檢索基礎分詞和檢索組合分詞與所述文本數據的文本基礎分詞和文本組合分詞進行比對，以獲得所述檢索文本的檢索結果的步驟包括：

將所述檢索基礎分詞和所述檢索組合分詞與所述文本基礎分詞和所述文本組合分詞進行比對，獲得與所述檢索基礎分詞和所述檢索組合分詞相對應的所述文本基礎分詞和所述文本組合分詞的倒排索引；以及

基于所獲得的倒排索引，計算所述檢索文本與所述文本數據的相關性，選擇相關性最高的文本數據作為所述檢索文本的檢索結果。

8.根據權利要求7所述的方法，其中，基于所獲得的倒排索引，計算所述檢索文本與所述文本數據的相關性的步驟包括：

基于所獲得的倒排索引，確定所述語料庫中包含有所述檢索文本的檢索基礎分詞的文本數據的第一數量，和所述語料庫中包含有所述檢索文本的檢索組合分詞的文本數據的第二數量；以及

基于所述第一數量和所述第二數量來計算所述檢索文本與所述文本數據的相關性。

9.一種執行基于切詞的多層次檢索方法的服務器，包括：

存儲器，存儲有程序指令；

處理器，執行所述程序指令以，

獲得檢索文本的檢索基礎分詞；

通過將所述檢索基礎分詞進行組合形成所述檢索文本的檢索組合分詞；以及

使用所述檢索文本的檢索基礎分詞和檢索組合分詞，搜索語料庫中的文本數據以獲得所述檢索文本的檢索結果。