[發明專利]一種針對SolrCloud的大數據SQL查詢方法

有效

• 申請號: 201811098198.6
• 申請日: 2018-09-20
• 公開（公告）號: CN109241085B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 潘麗華;王莉莉
• 申請（專利權）人: 郴州職業技術學院
• 主分類號: G06F16/245
• 分類號: G06F16/245
• 代理公司: 長沙科永臻知識產權代理事務所(普通合伙) 43227
• 代理人: 楊琦玲

本發明公開了一種針對SolrCloud的大數據SQL查詢方法及系統，屬于數據查詢技術領域，所述系統包括用戶端，用于供用戶輸入查詢指令和查看查詢結果數據；查詢指令判斷單元，用于統計分析查詢指令是否需要分割處理，當需要分割處理時進行標記，不需要分割處理時也標記上不需要分割處理；查詢指令分割單元，用于根據查詢指令判斷單元標記的查詢指令進行分割；分配單元，用于對細化查詢指令的查詢指令進行組合，并把組合的查詢指令進行分配；索引單元，用于根據分配到的查詢指令后對指令解析傳入到服務器單元進行檢索，返回檢索結果；通過對Solr文本進行轉換為標準的文本，然后對文本進行表格分割，使得Solr文本能夠直接使用表格檢索進行查詢。

【技術領域】

本發明涉及數據查詢技術領域，具體涉及一種針對SolrCloud的大數據SQL查詢方法及系統。

【背景技術】

隨著網絡的發展和普及，應用生產和需要處理的數據越來越大，數據爆發式增長，使得現有的數據檢索系統的工作負載越來越大，不斷的增長的數據量要求越來越多的應用程序進行擴展到更多的集群里面去計算，因此，大數據的分布式計算是處理海量數據查詢的必備選擇。

Solr作為高性能的搜索服務器，能夠提供快速、更加大的數據檢索，可以快速的進行完成海量數據的檢索。Solr提供了針對大規模文檔數據進行檢索的查詢語言，查詢功能非常豐富。包括匹配單一字符、匹配0或多個字符、基于編輯距離的模糊查詢、鄰近查詢(查找相隔一定距離的單詞)、范圍查詢，等等。同時，Solr查詢語法還支持多個查詢條件的組合，如AND、OR、NOT等。Solr查詢語法也提供了查詢的字段篩選、分頁等特性。因此，需要設計出一種SolrCloud的大數據SQL查詢方法，使得能夠對海量的數據進行快速檢索。

【發明內容】

本發明旨在公開一種針對SolrCloud的大數據SQL查詢方法及系統，解決現有檢索查詢系統對于大量的數據查詢時，查詢速度較慢，服務器容易崩潰等技術問題。

本發明采取的技術方案為：

一種針對SolrCloud的大數據SQL查詢方法，所述方法包括如下步驟，

步驟1：把Solr文本根據標準類型進行變換成為標準的Solr文本，變換的過程為，把Solr文本根據預先設定的文字大小，文本的段落屬性和頁面屬性進行變換得到標準的Solr文本；

步驟2：對標準Solr文本進行表格分割，形成能夠橫向和縱向檢索的表格文本；

步驟3：用戶通過用戶端輸入查詢指令，查詢指令判斷單元對輸入的指令進行判斷檢索量的大小；

步驟4：查詢指令分割單元根據判斷后的結果對查詢指令進行分割處理得到細化查詢指令；

步驟5：分配單元對細化查詢指令的查詢指令進行組合，并把組合的查詢指令進行分配給相應的索引單元；

步驟6：索引單元根據分配到的查詢指令后對指令解析傳入到服務器單元進行檢索，返回檢索結果。

進一步地，所述步驟2中表格分割的具體過程為，把標準Solr文本頁面平均分割成為大小相同的網格，網格的大小為字體大小所占頁面面積大小的整數倍，并在網格的頂端和左端加入橫向和縱向的檢索表頭。

進一步地，所述步驟3中指令判斷的具體過程為，先統計查詢指令頭的數量，然后再對每個指令頭內的檢索數據進行統計，并把指令頭的數量和每個指令頭中的檢索數據與預先設定的數值比較，當數據比預先設定的大時，對該指令頭進行標記需要分割，當等于或者不大于時，標記不需要分割。

進一步地，所述步驟4分割的過程為，根據標記的需要分割指令頭的內部數據進行分割成為若干份，并對分割后的若干份數據進行賦予原來的指令頭，形成若干個分割指令。