[發明專利]數倉表處理方法和裝置

在審

• 申請號: 201811251804.3
• 申請日: 2018-10-25
• 公開（公告）號: CN109597807A
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 楊浩
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數倉表處理方法，所述方法包括：

獲取第一數倉表中第一表段的布隆索引；其中，所述布隆索引根據第一表段中各條表數據的連接表達式生成；

獲取第二數倉表中與所述第一表段對應的第二表段，并分別計算所述第二表段中各條表數據的連接表達式；其中，第一數倉表與第二數倉表的分段方式相同；

在對第一數倉表和第二數倉表中匹配的表數據進行連接查詢之前，根據所述第二表段對應的連接表達式和所述第一表段的布隆索引對所述第二表段中的表數據進行過濾，其中，匹配的表數據為連接表達式相同的表數據。

2.根據權利要求1所述的方法，所述方法還包括：

根據所述第一數倉表中各條表數據的連接表達式分別對所述第一數倉表中的各條表數據進行分段。

3.根據權利要求2所述的方法，根據所述第一數倉表中各條表數據的連接表達式分別對所述第一數倉表中的各條表數據進行分段的步驟包括：

獲取所述第一數倉表中各條表數據的連接表達式之值的哈希值，并計算所述哈希值與表段總數的余數；

根據所述余數分別對所述第一數倉表中的各條表數據進行分段。

4.根據權利要求3所述的方法，在獲取第二數倉表中與所述第一表段對應的第二表段之前，所述方法還包括：

根據所述第一數倉表中各條表數據的第一連接表達式生成所述第一數倉表的布隆索引；

獲取第二數倉表中各條表數據的連接表達式；

根據所述第二數倉表對應的連接表達式和所述第一數倉表的布隆索引對所述第二數倉表中的表數據進行過濾。

5.根據權利要求1至4任意一項所述的方法，在將對應的表數據從所述第二表段中過濾掉之后，所述方法還包括：

對所述第一數倉表和第二數倉表進行連接查詢。

6.根據權利要求5所述的方法，在對所述第一數倉表和第二數倉表進行連接查詢之前，所述方法還包括：

將所述第一數倉表寫入內存，若內存不足，將所述第一數倉表換出到磁盤；和/或

將所述第二數倉表寫入內存，若內存不足，將所述第二數倉表換出到磁盤。

7.根據權利要求5所述的方法，當所述連接為內連接或者左連接時，所述第一數倉表為做表，所述第二數倉表為右表；當所述連接為右連接時，所述第二數倉表為做表，所述第一數倉表為右表。

8.一種數倉表處理裝置，所述裝置包括：

獲取模塊，用于獲取第一數倉表中第一表段的布隆索引；其中，所述布隆索引根據第一表段中各條表數據的連接表達式生成；

計算模塊，用于獲取第二數倉表中與所述第一表段對應的第二表段，并分別計算所述第二表段中各條表數據的連接表達式；其中，第一數倉表與第二數倉表的分段方式相同；

過濾模塊，用于在對第一數倉表和第二數倉表中匹配的表數據進行連接查詢之前，根據所述第二表段對應的連接表達式和所述第一表段的布隆索引對所述第二表段中的表數據進行過濾，其中，匹配的表數據為連接表達式相同的表數據。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現權利要求1至7任意一項所述的方法。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至7任意一項所述的方法。

11.一種分布式處理系統，包括多個權利要求10所述的計算機設備，每臺計算機設備用于對第二數倉表中的至少一個第二表段進行過濾。