[發明專利]全文快速檢索方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110546644.0
• 申請日: 2021-05-19
• 公開（公告）號: CN113377896A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 黃映挺;錢堃;方亞飛;吳春全;李培峰;吳俊偉;徐長軍;鄭新標;焦國云
• 申請（專利權）人: 朗新科技集團股份有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 趙赫

本發明涉及一種全文快速檢索方法、裝置、電子設備及存儲介質，所述全文快速檢索裝置，包括：數據抽取模塊、攔截分詞模塊、索引構建模塊、檢索接口模塊；所述數據抽取模塊用于將非結構化數據同步到搜索服務器中；所述攔截分詞模塊用于對搜索服務器中的所述非結構化數據進行攔截和分詞，得到詞與所述詞相關的信息；所述索引構建模塊用于將所述詞及與所述詞相關的信息構建成索引；所述檢索接口模塊用于提供檢索接口以供客戶端進行基于所述索引的檢索。根據本發明實施例提供的全文快速檢索裝置集成了搜索服務器等組件，可以實現一鍵安裝，擁有統一的搜索接口，并且可以自定義抽取數據的任務，提供一站式全文檢索服務。

技術領域

本發明涉及信息檢索技術領域，尤其涉及一種全文快速檢索方法、裝置、電子設備及存儲介質。

背景技術

傳統的關系型數據庫采用表格的儲存方式，一個關系型數據庫就是由二維表及其之間的關系組成的一個數據組織，數據以行和列的方式進行存儲，要讀取和查詢都十分方便。然而隨著企業的業務發展，其數據庫的數據量也會不斷增長，即使對數據庫進行了優化，數據量也會非常龐大，當在面對海量數據進行查詢時，性能會下降得嚴重，特別是對于傳統的關系型數據庫，常常出現查詢超時，單點故障等問題。而且，在根據用戶輸入的關鍵詞和設置的篩選條件進行檢索時，有時會出現返回得結果很少甚至無結果的情況。

面對不斷增長的海量數據，如何提高檢索速度，提升用戶的檢索體驗，以及能夠給用戶推薦一些相關的檢索建議，成為了亟待解決的問題。

發明內容

本發明的目的是提供一種全文快速檢索方法、裝置、電子設備及存儲介質，用以至少部分解決現有技術中存在的問題。

具體地，本發明實施例提供了以下技術方案：

第一方面，本發明提供了一種全文快速檢索裝置，包括：數據抽取模塊、攔截分詞模塊、索引構建模塊、檢索接口模塊；

所述數據抽取模塊用于將非結構化數據同步到ElasticSearch中；

所述攔截分詞模塊用于對ElasticSearch中的所述非結構化數據進行攔截和分詞，得到詞與所述詞相關的信息；

所述索引構建模塊用于將所述詞及與所述詞相關的信息構建成索引；

所述檢索接口模塊用于提供檢索接口以供客戶端進行基于所述索引的檢索。

可選地，所述數據抽取模塊使用增量抽取將所述非結構化數據同步到ElasticSearch中。

可選地，所說攔截分詞模塊包括：

附件攔截器，用于對所述非結構化數據中附件形式的數據進行文本提取；

聚合攔截器，用于將所述非結構化數據中存在關聯的表格或字段聚合在一起；

數組攔截器，用于將所述非結構化數據中存在關聯的所述詞存儲在一個數組中；

自動補全攔截器，用于基于所述非結構化數據中存在對應關系的所述詞建立詞法樹。

可選地，所述索引構建模塊基于所述攔截分詞模塊處理結果，構建支持附件檢索、模糊檢索、拼音檢索以及自動補全的索引。

可選地，所述檢索接口模塊提供的檢索接口是統一的Restful風格接口。

可選地，還包括預處理模塊，用于對ElasticSearch中的所述非結構化數據進行預處理。

第二方面，基于本發明第一方面所述的全文快速檢索裝置所實現的全文快速檢索方法，包括：

將非結構化數據同步到ElasticSearch中；

對ElasticSearch中的所述非結構化數據進行攔截和分詞，得到詞與所述詞相關的信息；