[發(fā)明專利]一種并行化SQL自動生成方法

有效

• 申請?zhí)枺?/td>: 202010054821.9
• 申請日: 2020-01-17
• 公開（公告）號: CN111259046B
• 公開（公告）日: 2023-02-28
• 發(fā)明（設計）人: 柴磊;許靖;溫征
• 申請（專利權(quán)）人: 深圳市魔數(shù)智擎人工智能有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/28;G06F16/2455
• 代理公司: 深圳市神州聯(lián)合知識產(chǎn)權(quán)代理事務所(普通合伙) 44324
• 代理人: 周松強

1.一種并行化SQL自動生成方法，其特征在于，該方法的具體步驟如下：

S1：依據(jù)一個以上的數(shù)據(jù)集的單表，并完成表與表之間樹形關系結(jié)構(gòu)的配置，獲取表關系樹，所述單表包括一個主表和一個以上的子表，所述表關系樹包括上級表和下級表，上級表和下級表相對設置；

S2：在邏輯層面中每個單表對應一個虛擬表，每個虛擬表的實際物理存儲包括一個以上的單表；

S3：將已配置的表關系樹進行廣度優(yōu)先遍歷，預解析出表關系樹中每層樹狀結(jié)構(gòu)的結(jié)構(gòu)信息；

S4：生成總虛擬表中的單表對應的數(shù)據(jù)集的主ID臨時index表，所述主ID臨時index表包括主表的ID形成的ID列；

S5：針對每個虛擬表與其他虛擬表的關聯(lián)關系信息，生成能夠表達兩兩單表之間的關聯(lián)關系的關聯(lián)index表，所有關聯(lián)index表上均針對關聯(lián)關系字段建立索引；

S6：將所述關聯(lián)index表廣播到不同類型的數(shù)據(jù)倉庫中，實現(xiàn)跨越不同數(shù)據(jù)倉庫的單表之間約束和關聯(lián)關系的傳遞；

S7：根據(jù)關聯(lián)index表和表關系樹，每個子表對應的虛擬表均可通過所述關聯(lián)index表直接與主表對應的虛擬表進行關聯(lián)，使每個子表的虛擬表可直接匯聚到該主表對應的虛擬表中，形成總虛擬表，并對總虛擬表進行排序。

2.如權(quán)利要求1所述的一種并行化SQL自動生成方法，其特征在于，所述步驟S1中的單表通過前端圖形化界面快速配置數(shù)據(jù)集的數(shù)據(jù)源、選擇相應的數(shù)據(jù)表、配置數(shù)據(jù)集的主ID獲得。

3.如權(quán)利要求1所述的一種并行化SQL自動生成方法，其特征在于，所述步驟S3中的結(jié)構(gòu)信息包括關聯(lián)字段、關聯(lián)關系和匯聚函數(shù)。

4.如權(quán)利要求1所述的一種并行化SQL自動生成方法，其特征在于，所述步驟S5中的關聯(lián)index表，對于表關系樹中表關系出現(xiàn)上級表與下級表為一對一的情況，在關聯(lián)index表生成中會提前識別并進行表關系的合并。

5.如權(quán)利要求1所述的一種并行化SQL自動生成方法，其特征在于，所述步驟S7中，根據(jù)關聯(lián)index表和表關系樹，上級表為每個下級表單獨產(chǎn)生一層以深度優(yōu)先規(guī)則遍歷得到的聚合路徑，這個聚合路徑包含上級表與下級表的關聯(lián)信息每個子表均可通過該聚合路徑直接與主表進行關聯(lián)。

6.如權(quán)利要求5所述的一種并行化SQL自動生成方法，其特征在于，所述步驟S7中的虛擬表的聚合過程中，先通過關聯(lián)index表對虛擬表中對應的單表進行數(shù)據(jù)的篩選和去重，同時生成臨時結(jié)果表，并以此臨時結(jié)果表對所有單表進行數(shù)據(jù)和關聯(lián)index表的匯聚。

7.如權(quán)利要求6所述的一種并行化SQL自動生成方法，其特征在于，所述總虛擬表的排序過程包括以主ID臨時index表的ID列進行排序、進行數(shù)據(jù)的行對齊。

8.如權(quán)利要求7所述的一種并行化SQL自動生成方法，其特征在于，所述總虛擬表在匯聚期間，如果虛擬表的列數(shù)超過了當前數(shù)據(jù)庫類型的單表最大列數(shù)限制時，會將虛擬表拆分為多個子表。