[發明專利]一種大數據篩選方法及裝置

有效

• 申請號: 201410636420.9
• 申請日: 2014-11-06
• 公開（公告）號: CN104408084B
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 吳雄輝
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,路凱

技術領域

本發明涉及信息檢索領域，特別是一種大數據篩選方法及裝置。

背景技術

在進行TB、GB級原始數據查詢時經常需要對已經查詢出的大量結果數據進行篩選查詢。如果想對查詢出的結果數據再次附加條件查詢篩選，在小數據量情況下，一般根據查詢條件，對存儲有原數據的數據庫進行全庫查詢，或者對存儲有原數據的數據表進行全表查詢，得到查詢結果。但對于大數據一般存儲在多個集群存儲器上，每個集群存儲器按照預定策略分別記錄一部分結果數據，從而達到數據存儲負載均衡的目的，也即分布式的結果數據存儲，另外在某些系統中還對每一個集群存儲器設置冗余集群存儲器的方式進行歷史數據冗余。此時，系統中的結果數據分布式地存儲于多個不同的集群存儲器中，對于各項結果數據在集群存儲器中與冗余集群存儲器中均存在記錄。在采用上述分布式結果數據存儲系統時，對某項結果數據的再查詢必須首先獲取結果數據對應的集群存儲器地址，同時該集群存儲器當前能夠響應查詢請求并返回查詢結果。存在互為冗余的集群存儲器時，需要實時判斷向哪個集群存儲器進行查詢。因此，對首次查詢結果數據的再次查詢難度較大，并且查詢性能及中標率會有所下降。對于大數據的數據查詢結果進行篩選的效率較低，并且對整個存儲集群及查詢WEB服務器產生極大的并發，使得整個查詢系統的可用性不佳。

發明內容

本發明的目的是提供一種大數據篩選方法及裝置，解決對首次查詢結果進行再查詢難度大、查詢性能及中標率下降的問題，提高了對大數據的數據查詢結果進行篩選的效率，減少了對整個存儲集群及查詢WEB服務器并發查詢的壓力，提高了WEB系統查詢結果處理的交互性，使得查詢系統的應用性更佳。

本發明為實現上述目的采用的技術方案是：一種大數據篩選方法，包括如下步驟：

按照首次查詢條件對首次查詢結果進行再查詢，將再查詢結果發送給數據快速篩選準備模塊；

接收所述再查詢結果，建立再查詢結果的索引，將所述再查詢結果和索引發送到數據快速篩選存儲模塊；

訪問所述數據快速篩選存儲模塊，使用所述索引篩選再查詢結果，返回篩選結果。

進一步，所述首次查詢包括，按照首次查詢條件查詢數據存儲模塊，返回首次查詢結果給頁面展示模塊用于頁面展示，并將首次查詢結果存儲于緩存數據庫。

進一步，所述按照首次查詢條件對首次查詢結果進行再查詢之前包括，記錄首次查詢條件，訪問緩存數據庫并讀取首次查詢結果。

進一步，所述接收再查詢結果之后、建立再查詢結果的索引之前包括，建立再查詢結果表。

進一步，所述建立再查詢結果的索引包括，根據篩選條件建立索引，通過保存在所述索引中的頁碼找到再查詢結果表中對應的記錄。

進一步，所述將所述再查詢結果和索引發送到數據快速篩選存儲模塊包括，將再查詢結果表和索引存儲于數據快速篩選存儲模塊的數據庫內。

第二方面，一種大數據篩選裝置，包括：

首次查詢結果調度模塊，用于按照首次查詢條件對首次查詢結果進行再查詢，將再查詢結果發送給數據快速篩選準備模塊；

數據快速篩選準備模塊，用于接收所述再查詢結果，建立再查詢結果的索引，將所述再查詢結果和索引發送到數據快速篩選存儲模塊；

篩選查詢服務模塊，用于訪問所述數據快速篩選存儲模塊，使用索引篩選再查詢結果，返回篩選結果。

進一步，還包括頁面查詢展示模塊，用于提供首次數據查詢接口和篩選查詢接口。

進一步，所述首次查詢結果調度模塊包括：

首次查詢條件獲取單元，用于獲取首次數據查詢的查詢條件；

首次查詢結果獲取單元，用于訪問緩存數據庫并讀取首次查詢結果；

數據再查詢單元，用于按照首次查詢條件對首次查詢結果進行再查詢，得到再查詢結果；

再查詢結果發送單元，用于將所述再查詢結果表發送給數據快速篩選準備模塊。

進一步，所述數據快速篩選準備模塊包括：

再查詢結果接收單元，用于接收所述再查詢結果表；

索引創建單元，用于建立所述再查詢結果表的索引；

數據發送單元，用于將再查詢結果表和索引發送給數據快速篩選存儲模塊；

數據格式轉換單元，用于將數據快速篩選存儲模塊返回的篩選結果的數據格式轉換成與首次查詢結果的數據格式相同，再發送給篩選查詢服務模塊。