[發明專利]數據過濾方法及裝置

有效

• 申請號: 201611265818.1
• 申請日: 2016-12-30
• 公開（公告）號: CN108268537B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 洪超
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2453
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 韓建偉;張永明

本申請公開了一種數據過濾方法及裝置。該方法包括：接收過濾請求，其中，過濾請求中攜帶有過濾條件，過濾條件中包括第一過濾條件和第二過濾條件，第一過濾條件用于在原始的數據表中進行過濾，第二過濾條件用于在非原始的數據表中進行過濾；根據第一過濾條件對原始的數據表進行過濾；對過濾后的原始的數據表進行去重處理，得到臨時表；以及根據第二過濾條件對臨時表進行過濾。通過本申請，解決了相關技術中在查詢指標數據時引起系統性能開銷較大，導致過濾效率較低的問題。

技術領域

本申請涉及數據過濾領域，具體而言，涉及一種數據過濾方法及裝置。

背景技術

對于類似訂單表這樣的數據，會存在很多訂單狀態的變更，每一次訂單狀態的變更，都會在系統里記錄一個狀態數據，因此一個訂單具有多條記錄。在查詢訂單量這些指標時，相同的訂單ID只需要計算一次，因此，需要對一個訂單的多條記錄進行去重處理。為了進行去重處理，相關技術中采用的方法為：為訂單表，添加一個去重的視圖，在查詢時直接在去重的視圖中進行查詢。例如，在對視圖進行查詢時，先將全部的訂單數據進行去重后，再用時間來進行過濾，隨著歷史數據的越來越多，對整個訂單量數據進行去重的性能開銷也會越來越大，導致過濾效率也較低。

針對相關技術中在查詢指標數據時引起系統性能開銷較大，導致過濾效率較低的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種數據過濾方法及裝置，以解決相關技術中在查詢指標數據時引起系統性能開銷較大，導致過濾效率較低的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種數據過濾方法。該方法包括：接收過濾請求，其中，過濾請求中攜帶有過濾條件，過濾條件中包括第一過濾條件和第二過濾條件，第一過濾條件用于在原始的數據表中進行過濾，第二過濾條件用于在非原始的數據表中進行過濾；根據第一過濾條件對原始的數據表進行過濾；對過濾后的原始的數據表進行去重處理，得到臨時表；以及根據第二過濾條件對臨時表進行過濾。

進一步地，根據第一過濾條件對原始的數據表進行過濾包括：獲取第一過濾條件中涉及的維度；以及基于第一過濾條件中涉及的維度對原始的數據表進行過濾。

進一步地，對過濾后的原始的數據表進行去重處理，得到臨時表包括：確定過濾后的原始的數據表中相同的指標；對過濾后的原始的數據表中相同的指標進行去重處理；將去重處理后的數據表作為臨時表。

進一步地，在根據第二過濾條件對臨時表進行過濾之后，該方法還包括：接收查詢請求，其中，查詢請求中包括維度和指標，指標為查詢請求指示查詢的內容，維度為查詢請求指示限制查詢內容的限制條件；根據過濾后的臨時表、查詢請求中的維度和指標生成查詢語言；基于查詢語言在過濾后的臨時表中進行數據查詢。

進一步地，查詢語言為SQL語言。

為了實現上述目的，根據本申請的另一方面，提供了一種數據過濾裝置。該裝置包括：第一接收單元，用于接收過濾請求，其中，過濾請求中攜帶有過濾條件，過濾條件中包括第一過濾條件和第二過濾條件，第一過濾條件用于在原始的數據表中進行過濾，第二過濾條件為不能對原始的數據表中進行過濾的條件；第一過濾單元，用于根據第一過濾條件對原始的數據表進行過濾；去重單元，用于對過濾后的原始的數據表進行去重處理，得到臨時表；以及第二過濾單元，用于根據第二過濾條件對臨時表進行過濾。

進一步地，第一過濾單元包括：獲取模塊，用于獲取第一過濾條件中涉及的維度；以及過濾模塊，用于基于第一過濾條件中涉及的維度對原始的數據表進行過濾。

進一步地，去重單元包括：第一確定模塊，用于確定過濾后的原始的數據表中相同的指標；去重模塊，用于對過濾后的原始的數據表中相同的指標進行去重處理；第二確定模塊，用于將去重處理后的數據表作為臨時表。