[發(fā)明專利]一種數(shù)據(jù)表關(guān)聯(lián)方法、設(shè)備以及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011621853.9
• 申請日: 2020-12-31
• 公開（公告）號(hào): CN112732715B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 雷天洋;錢昊洋;陳振強(qiáng);曹文源
• 申請（專利權(quán)）人: 星環(huán)信息科技（上海）股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)表關(guān)聯(lián)方法，其特征在于，包括：

獲取數(shù)據(jù)表對的關(guān)聯(lián)指令，根據(jù)所述關(guān)聯(lián)指令確定關(guān)聯(lián)進(jìn)程中的各個(gè)任務(wù)節(jié)點(diǎn)的任務(wù)信息；其中，所述數(shù)據(jù)表對包括查找表和掃描表，所述任務(wù)信息包括掃描表中分配給對應(yīng)的任務(wù)節(jié)點(diǎn)的掃描子表；

對于所述關(guān)聯(lián)進(jìn)程中的每個(gè)任務(wù)節(jié)點(diǎn)，根據(jù)負(fù)載信息與預(yù)設(shè)策略的匹配結(jié)果，確定所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)算法模型，根據(jù)所述關(guān)聯(lián)算法模型關(guān)聯(lián)所述查找表和掃描子表，得到關(guān)聯(lián)子結(jié)果；其中，所述預(yù)設(shè)策略包括所述負(fù)載信息與關(guān)聯(lián)算法模型的關(guān)聯(lián)關(guān)系，所述負(fù)載信息包括所述掃描子表的數(shù)據(jù)量和/或關(guān)聯(lián)進(jìn)程的占用資源；

根據(jù)各個(gè)所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)子結(jié)果確定所述關(guān)聯(lián)指令的關(guān)聯(lián)結(jié)果；

其中，在根據(jù)所述關(guān)聯(lián)指令確定關(guān)聯(lián)進(jìn)程中的各個(gè)任務(wù)節(jié)點(diǎn)的任務(wù)信息之前，還包括：

判斷所述關(guān)聯(lián)指令中是否包括分桶字段；

若不包括，確定所述關(guān)聯(lián)指令對應(yīng)的關(guān)聯(lián)算法模型為非桶關(guān)聯(lián)算法模型；

若包括，判斷所述掃描表的數(shù)據(jù)量是否低于或等于第一預(yù)設(shè)閾值；

若是，確定所述關(guān)聯(lián)指令對應(yīng)的關(guān)聯(lián)算法模型為內(nèi)存桶關(guān)聯(lián)算法模型；

其中，在判斷所述掃描表的數(shù)據(jù)量是否低于或等于第一預(yù)設(shè)閾值之后，還包括：

若所述掃描表的數(shù)據(jù)量高于第一預(yù)設(shè)閾值，獲取所述關(guān)聯(lián)進(jìn)程中任務(wù)節(jié)點(diǎn)的第一數(shù)量，獲取所述掃描表中分桶字段的第二數(shù)量；

根據(jù)以下公式計(jì)算所述關(guān)聯(lián)進(jìn)程的實(shí)際掃描數(shù)據(jù)量：

實(shí)際掃描數(shù)據(jù)量＝掃描表的數(shù)據(jù)量×第一數(shù)量/第二數(shù)量；

判斷所述實(shí)際掃描數(shù)據(jù)量是否低于或等于第二預(yù)設(shè)閾值；

若是，執(zhí)行根據(jù)所述關(guān)聯(lián)指令確定關(guān)聯(lián)進(jìn)程中的各個(gè)任務(wù)節(jié)點(diǎn)的任務(wù)信息的步驟；

若否，確定所述關(guān)聯(lián)指令對應(yīng)的關(guān)聯(lián)算法模型為硬盤桶關(guān)聯(lián)算法模型；

其中，所述內(nèi)存桶關(guān)聯(lián)算法模型是在桶關(guān)聯(lián)的基礎(chǔ)上，利用本地內(nèi)存進(jìn)行關(guān)聯(lián)的算法模型；

其中，所述硬盤桶關(guān)聯(lián)算法模型是在Bucket?Join的基礎(chǔ)上，在本地關(guān)聯(lián)時(shí)使用硬盤進(jìn)行關(guān)聯(lián)的算法模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對于所述查找表為分桶表的情況，在判斷所述掃描表的數(shù)據(jù)量是否低于或等于第一預(yù)設(shè)閾值之前，還包括：

判斷所述掃描表是否為分桶表；

若是，執(zhí)行判斷所述掃描表的數(shù)據(jù)量是否低于或等于第一預(yù)設(shè)閾值的步驟；

若否，根據(jù)所述查找表的分桶屬性對所述掃描表進(jìn)行重分布，得到新的掃描表，根據(jù)所述新的掃描表執(zhí)行判斷所述掃描表的數(shù)據(jù)量是否低于或等于第一預(yù)設(shè)閾值的步驟；

其中，所述查找表的數(shù)據(jù)量超過或等于所述新的掃描表的數(shù)據(jù)量與預(yù)設(shè)數(shù)值的乘積。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)負(fù)載信息與預(yù)設(shè)策略的匹配結(jié)果，確定所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)算法模型之前，還包括：

根據(jù)所述關(guān)聯(lián)指令中的過濾條件，對所述任務(wù)節(jié)點(diǎn)對應(yīng)的掃描子表進(jìn)行過濾。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)負(fù)載信息與預(yù)設(shè)策略的匹配結(jié)果，確定所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)算法模型，包括：

若所述掃描子表的數(shù)據(jù)量超過第三預(yù)設(shè)閾值或所述關(guān)聯(lián)進(jìn)程的占用資源超過第四預(yù)設(shè)閾值，確定所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)算法模型為硬盤桶關(guān)聯(lián)算法模型或硬盤關(guān)聯(lián)算法模型；

若所述掃描子表的數(shù)據(jù)量未超過第三預(yù)設(shè)閾值且所述關(guān)聯(lián)進(jìn)程的占用資源未超過第四預(yù)設(shè)閾值，確定所述任務(wù)節(jié)點(diǎn)的關(guān)聯(lián)算法模型為內(nèi)存關(guān)聯(lián)算法模型；

其中，所述硬盤關(guān)聯(lián)算法模型是在本地關(guān)聯(lián)時(shí)使用硬盤進(jìn)行關(guān)聯(lián)的算法模型。