[發明專利]一種基于MongoDB和Solr的海量數據存儲及快速檢索方法

在審

• 申請號: 201910341618.7
• 申請日: 2019-04-26
• 公開（公告）號: CN110232106A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 王利梅;唐飛;何丹娜;張海榮;吳濤;李凱;聞志;吳愛清;沙健;熊飛;劉江明;尚兵兵;王微;楊良闖;周小將;陳迪宇;朱志超;唐杰;王文杰;汪志發;舒貴陽;李慧;胡昊
• 申請（專利權）人: 安徽四創電子股份有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F16/332
• 代理公司: 合肥和瑞知識產權代理事務所(普通合伙) 34118
• 代理人: 王挺

本發明公開了一種基于MongoDB和Solr的海量數據存儲及快速檢索方法，對于非結構化數據的存儲，調用MongoDB數據庫存儲非結構化數據，并創建其對應的MongoDB資源信息唯一編碼，同時，還調用Solr創建該非結構化數據的索引信息，并將該非結構化數據的索引信息和MongoDB資源信息唯一編碼存儲至Solr的索引庫中；對于非結構化數據的快速檢索，先根據查詢語句在Solr的索引庫中進行查找，查找出與該查詢語句相對應的非結構化數據的索引信息和MongoDB資源信息唯一編碼；再在MongoDB數據庫中查找出該MongoDB資源信息唯一編碼所對應的非結構化數據。本發明滿足了日常業務中各種非結構化數據存儲及快速檢索的需求，實現了海量的非結構化數據的快速檢索以快速獲取所需要的信息。

技術領域

本發明涉及大數據快速檢索的技術領域，尤其是一種基于MongoDB和Solr的海量數據存儲及快速檢索方法。

背景技術

隨著計算機信息技術的發展及大數據的應用，在我們的日常生活中充斥著越來越多的數據，例如，對于公安機構而言，利用城市視頻監控資源偵破案件并形成各種案件的資料信息，積累了海量的如圖片、視頻等非結構化數據。因此，如何從這些海量的非結構化數據中快速獲取所需要的信息成為當前海量數據檢索的一個熱點及難點問題。

經檢索，中國專利公開號為CN106682148A公開了一種基于Solr數據搜索的方法及裝置，該專利中提出：選用Hbase或MongoDB的底層存儲數據庫，并根據記錄的字段生成rowkey；在查詢數據時，根據Solr創建后的索引從底層存儲中獲取對應的數據。

采用該專利所提出的方法是可以對數據進行存儲和檢索，該方法是直接用Solr創建的索引在底層存儲數據庫中進行檢索，并對JVM內存及Solr的內存配置、磁盤占用和事務日志等方面進行優化，實現大數據的檢索。但是，由于JVM內存及Solr的內存配置、磁盤占用和事務日志等相關內容本身就相對繁瑣復雜，針對海量數據時，對這些方面的優化需要經過反復試驗，不易操作實現。

發明內容

為了克服上述現有技術中的缺陷，本發明提供一種基于MongoDB和Solr的海量數據存儲及快速檢索方法，滿足了日常業務中各種非結構化數據存儲及快速檢索的需求，實現了海量的非結構化數據的快速檢索以快速獲取所需要的信息。

為實現上述目的，本發明采用以下技術方案，包括：

一種基于MongoDB和Solr的海量數據存儲及快速檢索方法，對于非結構化數據的存儲，包括以下具體步驟：

S101，獲取到非結構化數據后，調用MongoDB數據庫存儲該非結構化數據的信息，即將該非結構化數據存儲至MongoDB數據庫中，并為該非結構化數據創建與其對應的MongoDB資源信息唯一編碼；

且每一個非結構化數據均對應一個MongoDB資源信息唯一編碼；

S102，調用Solr創建該非結構化數據的索引信息，并將該非結構化數據的索引信息和MongoDB資源信息唯一編碼存儲至Solr的存儲空間即索引庫中；

對于非結構化數據的檢索，包括以下具體步驟：

S201，輸入檢索條件進行非結構化數據的檢索，Solr根據該檢索條件創建查詢語句；

S202，Solr先根據該查詢語句在Solr的索引庫中進行查找，查找出與該查詢語句相對應的非結構化數據的索引信息，以及該索引信息所對應的MongoDB資源信息唯一編碼；

S203，再根據該對應的MongoDB資源信息唯一編碼在MongoDB數據庫中進行查找，查找出該MongoDB資源信息唯一編碼所對應的非結構化數據的信息。

步驟S101中，調用MongoDB的API接口存儲非結構化數據的信息；步驟S203中，調用MongoDB的API接口獲取非結構化數據的信息。