[發(fā)明專利]一種大數(shù)據(jù)篩選方法及裝置

有效

• 申請?zhí)枺?/td>: 201410636420.9
• 申請日: 2014-11-06
• 公開（公告）號: CN104408084B
• 公開（公告）日: 2017-09-15
• 發(fā)明（設計）人: 吳雄輝
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,路凱

1.一種大數(shù)據(jù)篩選方法，其特征在于，所述方法適用于以集群的方式存在的關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫，包括如下步驟：

按照首次查詢條件對首次查詢結(jié)果進行再查詢，將再查詢結(jié)果發(fā)送給數(shù)據(jù)快速篩選準備模塊；

接收所述再查詢結(jié)果，建立再查詢結(jié)果的索引，將所述再查詢結(jié)果和索引發(fā)送到數(shù)據(jù)快速篩選存儲模塊；

訪問所述數(shù)據(jù)快速篩選存儲模塊，使用所述索引篩選再查詢結(jié)果，返回篩選結(jié)果。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)篩選方法，其特征在于：所述首次查詢包括按照首次查詢條件查詢數(shù)據(jù)存儲模塊，返回首次查詢結(jié)果給頁面展示模塊用于頁面展示，并將首次查詢結(jié)果存儲于緩存數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求1或2所述的大數(shù)據(jù)篩選方法，其特征在于：所述按照首次查詢條件對首次查詢結(jié)果進行再查詢之前包括，記錄首次查詢條件，訪問緩存數(shù)據(jù)庫并讀取首次查詢結(jié)果。

4.根據(jù)權(quán)利要求3所述的大數(shù)據(jù)篩選方法，其特征在于：所述接收再查詢結(jié)果之后、建立再查詢結(jié)果的索引之前包括，建立再查詢結(jié)果表。

5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)篩選方法，其特征在于：所述建立再查詢結(jié)果的索引包括，根據(jù)篩選條件建立索引，通過保存在所述索引中的頁碼找到再查詢結(jié)果表中對應的記錄。

6.根據(jù)權(quán)利要求4或5所述的大數(shù)據(jù)篩選方法，其特征在于：所述將所述再查詢結(jié)果和索引發(fā)送到數(shù)據(jù)快速篩選存儲模塊包括，將再查詢結(jié)果表和索引存儲于數(shù)據(jù)快速篩選存儲模塊的數(shù)據(jù)庫內(nèi)。

7.一種大數(shù)據(jù)篩選裝置，其特征在于，所述裝置適用于以集群的方式存在的關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫，包括：

首次查詢結(jié)果調(diào)度模塊，用于按照首次查詢條件對首次查詢結(jié)果進行再查詢，將再查詢結(jié)果發(fā)送給數(shù)據(jù)快速篩選準備模塊；

數(shù)據(jù)快速篩選準備模塊，用于接收所述再查詢結(jié)果，建立再查詢結(jié)果的索引，將所述再查詢結(jié)果和索引發(fā)送到數(shù)據(jù)快速篩選存儲模塊；

篩選查詢服務模塊，用于訪問所述數(shù)據(jù)快速篩選存儲模塊，使用索引篩選再查詢結(jié)果，返回篩選結(jié)果。

8.根據(jù)權(quán)利要求7所述的大數(shù)據(jù)篩選裝置，其特征在于，還包括頁面查詢展示模塊，用于提供首次數(shù)據(jù)查詢接口和篩選查詢接口。

9.根據(jù)權(quán)利要求7所述的大數(shù)據(jù)篩選裝置，其特征在于，所述首次查詢結(jié)果調(diào)度模塊包括：

首次查詢條件獲取單元，用于獲取首次數(shù)據(jù)查詢的查詢條件；

首次查詢結(jié)果獲取單元，用于訪問緩存數(shù)據(jù)庫并讀取首次查詢結(jié)果；

數(shù)據(jù)再查詢單元，用于按照首次查詢條件對首次查詢結(jié)果進行再查詢，得到再查詢結(jié)果；

再查詢結(jié)果發(fā)送單元，用于將所述再查詢結(jié)果表發(fā)送給數(shù)據(jù)快速篩選準備模塊。

10.根據(jù)權(quán)利要求8所述的大數(shù)據(jù)篩選裝置，其特征在于，所述數(shù)據(jù)快速篩選準備模塊包括：

再查詢結(jié)果接收單元，用于接收所述再查詢結(jié)果表；

索引創(chuàng)建單元，用于建立所述再查詢結(jié)果表的索引；

數(shù)據(jù)發(fā)送單元，用于將再查詢結(jié)果表和索引發(fā)送給數(shù)據(jù)快速篩選存儲模塊；

數(shù)據(jù)格式轉(zhuǎn)換單元，用于將數(shù)據(jù)快速篩選存儲模塊返回的篩選結(jié)果的數(shù)據(jù)格式轉(zhuǎn)換成與首次查詢結(jié)果的數(shù)據(jù)格式相同，再發(fā)送給篩選查詢服務模塊。