[發(fā)明專利]基于數(shù)據(jù)傾斜的關(guān)聯(lián)查詢方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010581205.9
• 申請日: 2020-06-23
• 公開（公告）號: CN111708809A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計(jì)）人: 李慎剛
• 申請（專利權(quán)）人: 中國平安財(cái)產(chǎn)保險(xiǎn)股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 劉挽瀾

1.一種基于數(shù)據(jù)傾斜的關(guān)聯(lián)查詢方法，其特征在于，所述基于數(shù)據(jù)傾斜的關(guān)聯(lián)查詢方法包括：

獲取目標(biāo)終端的關(guān)聯(lián)查詢請求，基于所述關(guān)聯(lián)查詢請求讀取第一表格數(shù)據(jù)和第二表格數(shù)據(jù)，并統(tǒng)計(jì)所述第一表格數(shù)據(jù)的數(shù)據(jù)量和所述第二表格數(shù)據(jù)的數(shù)據(jù)量，得到第一數(shù)據(jù)量和第二數(shù)據(jù)量，所述關(guān)聯(lián)查詢請求為等值連接查詢請求、左關(guān)聯(lián)查詢請求或者全連接查詢請求；

當(dāng)所述第一數(shù)據(jù)量和所述第二數(shù)據(jù)量中至少有一個(gè)數(shù)據(jù)量大于傾斜閾值時(shí)，判斷所述第一數(shù)據(jù)量大于所述第二數(shù)據(jù)量還是所述第二數(shù)據(jù)量大于所述第一數(shù)據(jù)量；

若所述第一數(shù)據(jù)量大于所述第二數(shù)據(jù)量，則根據(jù)所述第一表格數(shù)據(jù)和所述第二表格數(shù)據(jù)得到第一非傾斜數(shù)據(jù)集、第一傾斜數(shù)據(jù)集、第二非傾斜數(shù)據(jù)集和第二傾斜數(shù)據(jù)集；

根據(jù)所述第一非傾斜數(shù)據(jù)集、所述第一傾斜數(shù)據(jù)集、所述第二非傾斜數(shù)據(jù)集、所述第二傾斜數(shù)據(jù)集和所述關(guān)聯(lián)查詢請求確定第一目標(biāo)數(shù)據(jù)集，并將所述第一目標(biāo)數(shù)據(jù)集傳輸至所述目標(biāo)終端，所述第一目標(biāo)數(shù)據(jù)集為第一等值連接數(shù)據(jù)集、第一左關(guān)聯(lián)數(shù)據(jù)集或者第一全連接數(shù)據(jù)集；

若所述第二數(shù)據(jù)量大于所述第一數(shù)據(jù)量，則根據(jù)所述第一表格數(shù)據(jù)和第二表格數(shù)據(jù)得到第三非傾斜數(shù)據(jù)集、第三傾斜數(shù)據(jù)集、第四非傾斜數(shù)據(jù)集和第四傾斜數(shù)據(jù)集；

根據(jù)所述第三非傾斜數(shù)據(jù)集、所述第三傾斜數(shù)據(jù)集、所述第四非傾斜數(shù)據(jù)集、所述第四傾斜數(shù)據(jù)集和所述關(guān)聯(lián)查詢請求確定第二目標(biāo)數(shù)據(jù)集，并將所述第二目標(biāo)數(shù)據(jù)集傳輸至所述目標(biāo)終端，所述第二目標(biāo)數(shù)據(jù)集為第二等值連接數(shù)據(jù)集、第二左關(guān)聯(lián)數(shù)據(jù)集或者第二全連接數(shù)據(jù)集。

2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)傾斜的關(guān)聯(lián)查詢方法，其特征在于，所述獲取目標(biāo)終端的關(guān)聯(lián)查詢請求，基于所述關(guān)聯(lián)查詢請求讀取第一表格數(shù)據(jù)和第二表格數(shù)據(jù)，并統(tǒng)計(jì)所述第一表格數(shù)據(jù)的數(shù)據(jù)量和所述第二表格數(shù)據(jù)的數(shù)據(jù)量，得到第一數(shù)據(jù)量和第二數(shù)據(jù)量，所述關(guān)聯(lián)查詢請求為等值連接查詢請求、左關(guān)聯(lián)查詢請求或者全連接查詢請求包括：

獲取目標(biāo)終端的關(guān)聯(lián)查詢請求，基于所述關(guān)聯(lián)查詢請求讀取第一表格數(shù)據(jù)和第二表格數(shù)據(jù)，并將所述第一表格數(shù)據(jù)劃分為多個(gè)第一列數(shù)據(jù)，將所述第二表格數(shù)據(jù)劃分為多個(gè)第二列數(shù)據(jù)；

對所述多個(gè)第一列數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到多個(gè)第一子表數(shù)據(jù)，并統(tǒng)計(jì)所述多個(gè)第一子表數(shù)據(jù)的數(shù)據(jù)量，得到多個(gè)第一子表數(shù)據(jù)量；

對所述多個(gè)第二列數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到多個(gè)第二子表數(shù)據(jù)，并統(tǒng)計(jì)所述多個(gè)第二子表數(shù)據(jù)的數(shù)據(jù)量，得到多個(gè)第二子表數(shù)據(jù)量；

將所述多個(gè)第一子表數(shù)據(jù)量中的每個(gè)第一子表數(shù)據(jù)量相加，得到第一數(shù)據(jù)量；

將所述多個(gè)第二子表數(shù)據(jù)量中的每個(gè)第二子表數(shù)據(jù)量相加，得到第二數(shù)據(jù)量。

3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)傾斜的關(guān)聯(lián)查詢方法，其特征在于，所述若所述第一數(shù)據(jù)量大于所述第二數(shù)據(jù)量，則根據(jù)所述第一表格數(shù)據(jù)和所述第二表格數(shù)據(jù)得到第一非傾斜數(shù)據(jù)集、第一傾斜數(shù)據(jù)集、第二非傾斜數(shù)據(jù)集和第二傾斜數(shù)據(jù)集包括：

若所述第一數(shù)據(jù)量大于所述第二數(shù)據(jù)量，則將所述第一表格數(shù)據(jù)處理為第一標(biāo)記數(shù)據(jù)，并將所述第二表格數(shù)據(jù)與所述第一標(biāo)記數(shù)據(jù)進(jìn)行左關(guān)聯(lián)，得到第一結(jié)果集，所述第一結(jié)果集包括多個(gè)第一小數(shù)據(jù)標(biāo)識；

在所述第一結(jié)果集中提取第一小數(shù)據(jù)標(biāo)識為空值的數(shù)據(jù)集，并重新添加不為空值的第一小數(shù)據(jù)標(biāo)識，得到第一非傾斜數(shù)據(jù)集；

在所述第一結(jié)果集中提取第一小數(shù)據(jù)標(biāo)識不為空值的數(shù)據(jù)集，得到第一傾斜數(shù)據(jù)集；

為所述第二表格數(shù)據(jù)添加第一大數(shù)據(jù)標(biāo)識，得到第一表格標(biāo)識數(shù)據(jù)，并將所述第一表格標(biāo)識數(shù)據(jù)與所述第一標(biāo)記數(shù)據(jù)進(jìn)行左關(guān)聯(lián)，得到第二結(jié)果集，所述第二結(jié)果集包括多個(gè)第一小表列數(shù)據(jù)；

在所述第二結(jié)果集中提取第一小表列數(shù)據(jù)為空值的數(shù)據(jù)集，并刪除對應(yīng)的第一小表列數(shù)據(jù)，得到第二非傾斜數(shù)據(jù)集；

在所述第二結(jié)果集中提取第一小表列數(shù)據(jù)不為空值的數(shù)據(jù)集，并刪除對應(yīng)的第一表列數(shù)據(jù)，得到第二傾斜數(shù)據(jù)集。