[發明專利]一種數據表關聯方法、設備以及存儲介質

有效

• 申請號: 202011621853.9
• 申請日: 2020-12-31
• 公開（公告）號: CN112732715B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 雷天洋;錢昊洋;陳振強;曹文源
• 申請（專利權）人: 星環信息科技（上海）股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據表關聯方法、設備以及存儲介質。該方法包括：獲取數據表對的關聯指令，確定關聯進程中的各個任務節點的任務信息；數據表對包括查找表和掃描表，任務信息包括掃描表中分配給對應的任務節點的掃描子表；對于關聯進程中的每個任務節點，根據負載信息與預測策略的匹配結果，確定任務節點的關聯算法模型，根據關聯算法模型關聯查找表和掃描子表，得到關聯子結果；預設策略包括負載信息與關聯算法模型的關聯關系，負載信息包括掃描子表的數據量和/或關聯進程的占用資源；根據各個任務節點的關聯子結果確定關聯指令的關聯結果。本發明實施例根據任務節點和關聯進程的負載自適應地選擇關聯算法，提高了整體的執行性能。

技術領域

本發明實施例涉及大數據技術，尤其涉及一種數據表關聯方法、設備以及存儲介質。

背景技術

分布式數據庫中，在建立數據表時，對表進行哈希分區(hash?partition)(或稱為分桶)或者建主索引(Primary?Index,PI)是常見的優化策略。在利用桶(Bucket)信息或PI信息存儲數據表時，數據庫管理系統(Database?Management?System,DBMS)可以對數據分布進行控制(例如，相同Bucket的數據放在同一個物理節點)，從而減少關聯(Join)時的網絡開銷，并可以進一步基于Bucket信息或PI信息，設計更加高效的關聯算法，如基于分桶的內存關聯算法(Bucket?Classic?Hash?Join)或基于分桶的溢出哈希關聯算法(BucketSpillable?Hash?Join)。

傳統方法中無論靜態統計信息還是動態采樣，都無法準確解決數據分布問題，因此通常會采用相對保守的策略生成執行計劃。并且，關聯的執行計劃和關聯算法一旦確定，每步Join操作里面對所有的數據都執行相同的關聯算法。

然而，這種方法會導致數據表對關聯時整體的執行性能很低。因此，如何提高數據表對關聯時整體的執行性能成為亟待解決的技術問題。

發明內容

本發明實施例提供一種數據表關聯方法、設備以及存儲介質，可以提高數據表對關聯時整體的執行性能。

第一方面，本發明實施例提供了一種數據表關聯方法，包括：

獲取數據表對的關聯指令，根據所述關聯指令確定關聯進程中的各個任務節點的任務信息；其中，所述數據表對包括查找表和掃描表，所述任務信息包括掃描表中分配給對應的任務節點的掃描子表；

對于所述關聯進程中的每個任務節點，根據負載信息與預測策略的匹配結果，確定所述任務節點的關聯算法模型，根據所述關聯算法模型關聯所述查找表和掃描子表，得到關聯子結果；其中，所述預設策略包括所述負載信息與關聯算法模型的關聯關系，所述負載信息包括所述掃描子表的數據量和/或關聯進程的占用資源；

根據各個所述任務節點的關聯子結果確定所述關聯指令的關聯結果。

第二方面，本發明實施例還提供了一種數據表關聯設備，包括處理器和存儲器，所述存儲器用于存儲指令，當所述指令執行時使得所述處理器執行以下操作：

獲取數據表對的關聯指令，根據所述關聯指令確定關聯進程中的各個任務節點的任務信息；其中，所述數據表對包括查找表和掃描表，所述任務信息包括掃描表中分配給對應的任務節點的掃描子表；

對于所述關聯進程中的每個任務節點，根據負載信息與預測策略的匹配結果，確定所述任務節點的關聯算法模型，根據所述關聯算法模型關聯所述查找表和掃描子表，得到關聯子結果；其中，所述預設策略包括所述負載信息與關聯算法模型的關聯關系，所述負載信息包括所述掃描子表的數據量和/或關聯進程的占用資源；

根據各個所述任務節點的關聯子結果確定所述關聯指令的關聯結果。

第三方面，本發明實施例還提供了一種包含計算機可執行指令的存儲介質，所述計算機可執行指令在由計算機處理器執行時用于執行如本發明任意實施例提供的數據表關聯方法。