[發(fā)明專利]一種基于多核CPU的分布式集群系統(tǒng)及數(shù)據(jù)連接方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710361514.3
• 申請(qǐng)日: 2017-05-22
• 公開(kāi)（公告）號(hào): CN107247623B
• 公開(kāi)（公告）日: 2018-04-13
• 發(fā)明（設(shè)計(jì)）人: 王宏志;孫旭冉;趙志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 哈工大大數(shù)據(jù)產(chǎn)業(yè)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京格允知識(shí)產(chǎn)權(quán)代理有限公司11609
• 代理人: 周嬌嬌,譚輝

1.一種基于多核CPU的分布式集群系統(tǒng)，其特征在于，包括：

映射服務(wù)器，包括至少一臺(tái)具有多核CPU的計(jì)算機(jī)，用于在映射任務(wù)的進(jìn)程內(nèi)部啟動(dòng)n個(gè)映射線程，并以所述映射服務(wù)器中每個(gè)核心作為一個(gè)對(duì)應(yīng)計(jì)算節(jié)點(diǎn)對(duì)所述n個(gè)映射線程進(jìn)行并行計(jì)算；其中每個(gè)映射線程從共享內(nèi)存預(yù)先分配的緩沖區(qū)中讀取對(duì)應(yīng)的數(shù)據(jù)分片v_i，1≤i≤n，記錄源表的連接屬性和查詢屬性，生成鍵值對(duì)，并對(duì)所述連接屬性建立各自的哈希表，且每個(gè)映射線程維護(hù)一個(gè)獨(dú)立的哈希表；

規(guī)約服務(wù)器，包括至少一臺(tái)具有多核CPU的計(jì)算機(jī)，用于在規(guī)約任務(wù)的進(jìn)程內(nèi)部啟動(dòng)m個(gè)規(guī)約線程，并以所述規(guī)約服務(wù)器中每個(gè)核心作為一個(gè)對(duì)應(yīng)計(jì)算節(jié)點(diǎn)對(duì)所述m個(gè)規(guī)約線程進(jìn)行并行計(jì)算；其中每個(gè)規(guī)約線程用于查找所述哈希表，從多個(gè)哈希表中分別獲取屬于自己的中間數(shù)據(jù)集，并對(duì)所述中間數(shù)據(jù)集進(jìn)行比較連接；

所述映射服務(wù)器還用于對(duì)映射服務(wù)器的集群中空閑資源CPU核數(shù)進(jìn)行采集統(tǒng)計(jì)，并實(shí)時(shí)更新空閑資源CPU核數(shù)，對(duì)映射線程進(jìn)行并行處理；

所述規(guī)約服務(wù)器還用于對(duì)規(guī)約服務(wù)器的集群中空閑資源CPU核數(shù)進(jìn)行采集統(tǒng)計(jì)，并實(shí)時(shí)更新空閑資源CPU核數(shù)，對(duì)規(guī)約線程進(jìn)行并行處理。

2.根據(jù)權(quán)利要求1所述的基于多核CPU的分布式集群系統(tǒng)，其特征在于，所述映射服務(wù)器預(yù)先將輸入數(shù)據(jù)分成n等份，并分別存儲(chǔ)至n個(gè)緩沖區(qū)，使每個(gè)映射線程對(duì)應(yīng)一個(gè)緩沖區(qū)。

3.根據(jù)權(quán)利要求1所述的基于多核CPU的分布式集群系統(tǒng)，其特征在于，所述分布式集群系統(tǒng)內(nèi)計(jì)算機(jī)之間的數(shù)據(jù)遷移采用遠(yuǎn)程直接數(shù)據(jù)存取方式，并采用消息傳遞接口進(jìn)行編程實(shí)現(xiàn)通信。

4.一種基于多核CPU的分布式集群系統(tǒng)的數(shù)據(jù)連接方法，其特征在于，所述基于多核CPU的分布式集群系統(tǒng)包括映射服務(wù)器和規(guī)約服務(wù)器，且所述映射服務(wù)器包括至少一臺(tái)具有多核CPU的計(jì)算機(jī)，所述規(guī)約服務(wù)器包括至少一臺(tái)具有多核CPU的計(jì)算機(jī)，所述數(shù)據(jù)連接方法包括：

映射步驟，在映射任務(wù)的進(jìn)程內(nèi)部啟動(dòng)n個(gè)映射線程，并以所述映射服務(wù)器中每個(gè)核心作為一個(gè)對(duì)應(yīng)計(jì)算節(jié)點(diǎn)對(duì)所述n個(gè)映射線程進(jìn)行并行計(jì)算；其中每個(gè)映射線程從共享內(nèi)存預(yù)先分配的緩沖區(qū)中讀取對(duì)應(yīng)的數(shù)據(jù)分片v_i，1≤i≤n，記錄源表的連接屬性和查詢屬性，生成鍵值對(duì)，并對(duì)所述連接屬性建立各自的哈希表，且每個(gè)映射線程維護(hù)一個(gè)獨(dú)立的哈希表；

規(guī)約步驟，在規(guī)約任務(wù)的進(jìn)程內(nèi)部啟動(dòng)m個(gè)規(guī)約線程，并以規(guī)約服務(wù)器中每個(gè)核心作為一個(gè)對(duì)應(yīng)計(jì)算節(jié)點(diǎn)對(duì)所述m個(gè)規(guī)約線程進(jìn)行并行計(jì)算；其中每個(gè)規(guī)約線程用于查找所述哈希表，從多個(gè)哈希表中分別獲取屬于自己的中間數(shù)據(jù)集，并對(duì)所述中間數(shù)據(jù)集進(jìn)行比較連接；

所述映射步驟還包括對(duì)映射服務(wù)器的集群中空閑資源CPU核數(shù)進(jìn)行采集統(tǒng)計(jì)，并實(shí)時(shí)更新空閑資源CPU核數(shù)，對(duì)映射線程進(jìn)行并行處理；

所述規(guī)約步驟還包括對(duì)規(guī)約服務(wù)器的集群中空閑資源CPU核數(shù)進(jìn)行采集統(tǒng)計(jì)，并實(shí)時(shí)更新空閑資源CPU核數(shù)，對(duì)規(guī)約線程進(jìn)行并行處理。

5.根據(jù)權(quán)利要求4所述的基于多核CPU的分布式集群系統(tǒng)的數(shù)據(jù)連接方法，其特征在于，所述映射步驟還包括：預(yù)先將輸入數(shù)據(jù)分成n等份，并分別存儲(chǔ)至n個(gè)緩沖區(qū)，使每個(gè)映射線程對(duì)應(yīng)一個(gè)緩沖區(qū)。

6.根據(jù)權(quán)利要求4所述的基于多核CPU的分布式集群系統(tǒng)的數(shù)據(jù)連接方法，其特征在于，所述分布式集群系統(tǒng)內(nèi)計(jì)算機(jī)之間的數(shù)據(jù)遷移采用遠(yuǎn)程直接數(shù)據(jù)存取方式，并采用消息傳遞接口進(jìn)行編程實(shí)現(xiàn)通信。