[發明專利]數據的查詢方法及裝置

有效

• 申請號: 201611220548.2
• 申請日: 2016-12-26
• 公開（公告）號: CN108241692B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 洪超
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 韓建偉;張永明

本發明公開了一種數據的查詢方法及裝置。其中，該方法包括：獲取元數據中的大維度，其中，大維度為唯一值大于等于預設閾值的維度，元數據包括維度和維度的唯一值，元數據記錄了維度與唯一值的對應關系；在查詢記錄中查找與大維度相同的目標維度，并將與大維度相同的目標維度對應的指標作為大維度對應的指標，其中，查詢記錄中記錄了目標維度與指標的對應關系；根據大維度及其對應的指標從事實數據表中選取預設數量的數據生成聚合表；在聚合表中查詢與大維度和指標相關的數據。本發明解決了根據大維度直接生成聚合表導致的通過聚合表進行數據查詢效率低的技術問題。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據的查詢方法及裝置。

背景技術

在聯機分析處理領域里，我們經常碰到一些大維度，例如channel(渠道)，url(網頁)等，很多時候我們需要對這些大維度做分組剖析，然后去看對應指標的前N個，也就是看前N個此維度的值以及指標，例如看維度url，通過頁面瀏覽量指標來看，看前10個瀏覽量最多的url頁面是哪些，用于指導網站運營或是業務優化。

聯機分析處理面臨的一個問題是大維度做分組剖析時的性能開銷，常見的傳統方式是通過聚合表的聯機分析處理的思路來解決，但是預聚合后，由于url等大維度的唯一值太多，導致其查詢性能緩慢。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據的查詢方法及裝置，以至少解決根據大維度直接生成聚合表導致的通過聚合表進行數據查詢效率低的技術問題。

根據本發明實施例的一個方面，提供了一種數據查詢方法，包括：獲取元數據中的大維度，其中，所述大維度為唯一值大于等于預設閾值的維度，所述元數據包括維度和維度的唯一值，所述元數據記錄了所述維度與所述唯一值的對應關系；在查詢記錄中查找與所述大維度相同的目標維度，并將與所述大維度相同的所述目標維度對應的指標作為所述大維度對應的指標，其中，所述查詢記錄中記錄了所述目標維度與所述指標的對應關系；根據所述大維度及其對應的指標從事實數據表中選取預設數量的數據生成聚合表；在所述聚合表中查詢與所述大維度和所述指標相關的數據。

進一步地，根據所述大維度及其對應的指標從事實數據表中選取預設數量的數據生成聚合表包括：按照所述大維度對所述事實數據表進行分組；按照所述指標對所述事實數據表中的數據進行排序，得到分組排序后的數據；從分組排序后的數據中選取出排序靠前的預設數量的數據；根據選取出的所述預設數量的數據生成聚合表。

進一步地，獲取元數據中的大維度包括：獲取所述元數據，其中，所述元數據包括維度和維度的唯一值，所述維度與所述唯一值相對應；查找所述元數據中所述唯一值大于等于預設閾值的維度；將所述元數據中所述唯一值大于等于預設閾值的維度作為所述大維度。

進一步地，在所述聚合表中查詢與所述大維度和所述指標相關的數據包括：獲取查詢條件，所述查詢條件包括查詢維度和查詢指標；判斷所述聚合表中是否包括與所述查詢維度一致的大維度；如果判斷出所述聚合表中包括與所述查詢維度一致的大維度，則判斷所述查詢指標與生成所述聚合表時的指標是否一致，并且判斷所述查詢指標的排列次序與生成所述聚合表時的指標的排列次序是否一致；如果判斷出所述查詢指標與生成所述聚合表時的指標一致，并且判斷出所述查詢指標的排列次序與生成所述聚合表時的指標的排列次序一致，則按照所述查詢維度和所述查詢指標在所述聚合表中查詢數據。

進一步地，在判斷所述聚合表中是否包括與所述查詢維度一致的大維度之后，所述方法還包括：如果判斷出所述聚合表中不包括與所述查詢維度一致的大維度，則按照所述查詢維度和所述查詢指標從所述事實數據表中查詢數據；或者如果判斷出所述查詢指標與生成所述聚合表時的指標不一致，或者判斷出所述查詢指標的排列次序與生成所述聚合表時的指標的排列次序不一致，則按照所述查詢維度和所述查詢指標從所述事實數據表中查詢數據。