[發(fā)明專利]一種數(shù)據(jù)交換方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610082589.3
• 申請日: 2016-02-05
• 公開（公告）號: CN107045512B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計）人: 趙恒;鐘文軍;黎寧
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

1.一種數(shù)據(jù)交換方法，其特征在于，包括：

獲取傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)中并行任務(wù)節(jié)點的數(shù)量N，獲取大數(shù)據(jù)平臺中的被交換數(shù)據(jù)和所述被交換數(shù)據(jù)的ID值；

將所述被交換數(shù)據(jù)按所述被交換數(shù)據(jù)的ID值的固定順序均分成第一特定數(shù)量的預(yù)合并區(qū)，所述第一特定數(shù)量為N與第一擴(kuò)展值的乘積，所述第一擴(kuò)展值為大于1的整數(shù)；

逐個合并所述預(yù)合并區(qū)，直至已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和在第一區(qū)間內(nèi)，生成合并區(qū)；

重復(fù)上述步驟，直至對第一特定數(shù)據(jù)量的預(yù)合并區(qū)的合并完成，生成N個合并區(qū)；或重復(fù)上述步驟，直至剩余的預(yù)合并區(qū)的被交換數(shù)據(jù)量之和小于第一區(qū)間的下限，將剩余的預(yù)合并區(qū)合并作為所述N個合并區(qū)中的一個合并區(qū)；

分別將所述N個合并區(qū)分配給各并行任務(wù)節(jié)點執(zhí)行數(shù)據(jù)交換。

2.如權(quán)利要求1所述的方法，其特征在于，所述第一擴(kuò)展值為10。

3.如權(quán)利要求1所述的方法，其特征在于，所述逐個合并所述預(yù)合并區(qū)，直至已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和在第一區(qū)間內(nèi)，生成合并區(qū)，包括：

逐個合并所述預(yù)合并區(qū)，判斷已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和是否在第一區(qū)間內(nèi)；

若是，則生成合并區(qū)；若否，且小于第一區(qū)間下限，則繼續(xù)上述步驟；若否，且大于第一區(qū)間上限，則將最后一個預(yù)和并區(qū)拆分成第二特定數(shù)量的預(yù)合并區(qū)，并重新逐個合并所述第二特定數(shù)量的預(yù)合并區(qū)，直至已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和在第一區(qū)間內(nèi)，則生成合并區(qū)。

4.如權(quán)利要求1-3中任意一項所述的方法，其特征在于，所述逐個合并所述預(yù)合并區(qū)之前，還包括:

根據(jù)所述被交換數(shù)據(jù)的總量和所述并行任務(wù)節(jié)點的數(shù)量N得出各并行任務(wù)節(jié)點的工作量平均值；

設(shè)置1倍的工作量平均值作為第一區(qū)間的下限，設(shè)置第一區(qū)間的上限，其中，第一區(qū)間的上限為動態(tài)上限，取值范圍為1至1.7倍的工作量平均值。

5.一種數(shù)據(jù)交換系統(tǒng)，其特征在于，包括：

參數(shù)獲取單元，用于獲取傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)中并行任務(wù)節(jié)點的數(shù)量N，獲取大數(shù)據(jù)平臺中的被交換數(shù)據(jù)和所述被交換數(shù)據(jù)的ID值；

預(yù)合并區(qū)生成單元，用于將所述被交換數(shù)據(jù)按所述被交換數(shù)據(jù)的ID值的固定順序均分成第一特定數(shù)量的預(yù)合并區(qū)，所述第一特定數(shù)量為N與第一擴(kuò)展值的乘積，所述第一擴(kuò)展值為大于1的整數(shù)；

合并單元，所述合并單元包括合并模塊和分配模塊，所述合并模塊，用于逐個合并所述預(yù)合并區(qū)，直至已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和在第一區(qū)間內(nèi)，生成合并區(qū)；重復(fù)執(zhí)行上述方式，直至對第一特定數(shù)據(jù)量的預(yù)合并區(qū)的合并完成，生成N個合并區(qū)；或重復(fù)執(zhí)行上述方式，直至剩余的預(yù)合并區(qū)的被交換數(shù)據(jù)量之和小于第一區(qū)間的下限，將剩余的預(yù)合并區(qū)合并作為所述N個合并區(qū)中的一個合并區(qū)；

所述分配模塊，用于分別將所述N個合并區(qū)分配給各并行任務(wù)節(jié)點執(zhí)行數(shù)據(jù)交換。

6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述第一擴(kuò)展值為10。

7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述合并模塊，具體用于：

逐個合并所述預(yù)合并區(qū)，判斷已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和是否在第一區(qū)間內(nèi)；若是，則生成合并區(qū)；若否，且小于第一區(qū)間下限，則繼續(xù)上述方式逐個合并所述預(yù)合并區(qū)并判斷；若否，且大于第一區(qū)間上限，則將最后一個預(yù)和并區(qū)拆分成第二特定數(shù)量的預(yù)合并區(qū)，并重新逐個合并所述第二特定數(shù)量的預(yù)合并區(qū)，直至已合并的所述預(yù)合并區(qū)的被交換數(shù)據(jù)量之和在第一區(qū)間內(nèi)，則生成合并區(qū)；重復(fù)執(zhí)行上述方式，直至對第一特定數(shù)據(jù)量的預(yù)合并區(qū)的合并完成，生成N個合并區(qū)；或重復(fù)執(zhí)行上述方式，直至剩余的預(yù)合并區(qū)的被交換數(shù)據(jù)量之和小于第一區(qū)間的下限，將剩余的預(yù)合并區(qū)合并作為所述N個合并區(qū)中的一個合并區(qū)。

8.如權(quán)利要求5-7中任意一項所述的系統(tǒng)，其特征在于，還包括:

工作量計算單元，用于根據(jù)所述被交換數(shù)據(jù)的總量和所述并行任務(wù)節(jié)點的數(shù)量得出各并行任務(wù)節(jié)點的工作量平均值；

第一區(qū)間設(shè)置單元，用于設(shè)置1倍的工作量平均值作為第一區(qū)間的下限，設(shè)置第一區(qū)間的上限，其中，第一區(qū)間的上限為動態(tài)上限，取值范圍為1至1.7倍的工作量平均值。