[發(fā)明專利]一種圖數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011573361.7
• 申請(qǐng)日: 2020-12-24
• 公開(kāi)（公告）號(hào): CN112685178A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 袁博;高艷濤;秦朝陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F16/901
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王云曉

本申請(qǐng)公開(kāi)了一種圖數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。本申請(qǐng)中的邏輯中心節(jié)點(diǎn)在劃分目標(biāo)圖數(shù)據(jù)獲得多個(gè)子圖后，將多個(gè)子圖分發(fā)至多個(gè)物理節(jié)點(diǎn)，以使多個(gè)物理節(jié)點(diǎn)并行處理多個(gè)子圖，獲得多個(gè)處理結(jié)果；收集并整合多個(gè)處理結(jié)果，獲得整合結(jié)果；若接收到任一個(gè)物理節(jié)點(diǎn)發(fā)送的數(shù)據(jù)獲取請(qǐng)求，則根據(jù)數(shù)據(jù)獲取請(qǐng)求從整合結(jié)果中選擇并返回相應(yīng)數(shù)據(jù)，以便相關(guān)物理節(jié)點(diǎn)處理相應(yīng)數(shù)據(jù)。本申請(qǐng)中的邏輯中心節(jié)點(diǎn)能夠按照物理節(jié)點(diǎn)的需要同步數(shù)據(jù)，可避免各個(gè)物理節(jié)點(diǎn)在處理圖數(shù)據(jù)的過(guò)程中頻繁相互通信，因此可節(jié)約物理節(jié)點(diǎn)的計(jì)算機(jī)資源，提高物理節(jié)點(diǎn)處理圖數(shù)據(jù)的效率。本申請(qǐng)?zhí)峁┑囊环N圖數(shù)據(jù)處理裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，也同樣具有上述技術(shù)效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種圖數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，各個(gè)物理節(jié)點(diǎn)在配合處理同一個(gè)圖數(shù)據(jù)的過(guò)程中，需要相互通信。例如：物理節(jié)點(diǎn)A需要從物理節(jié)點(diǎn)B、C、D中分別獲取一些處理結(jié)果，而物理節(jié)點(diǎn)B需要從物理節(jié)點(diǎn)A、C中獲取一些處理結(jié)果。如此一來(lái)，不同物理節(jié)點(diǎn)之間頻繁相互通信，會(huì)消耗較多計(jì)算機(jī)資源，降低了圖數(shù)據(jù)的處理效率。

因此，在處理圖數(shù)據(jù)的過(guò)程中，如何避免不同物理節(jié)點(diǎn)頻繁通信，提高圖數(shù)據(jù)的處理效率，是本領(lǐng)域技術(shù)人員需要解決的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)的目的在于提供一種圖數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，以在處理圖數(shù)據(jù)的過(guò)程中，避免不同物理節(jié)點(diǎn)頻繁通信，提高圖數(shù)據(jù)的處理效率。其具體方案如下：

第一方面，本申請(qǐng)?zhí)峁┝艘环N圖數(shù)據(jù)處理方法，應(yīng)用于邏輯中心節(jié)點(diǎn)，包括：

獲取目標(biāo)圖數(shù)據(jù)，并劃分所述目標(biāo)圖數(shù)據(jù)獲得多個(gè)子圖；

將所述多個(gè)子圖分發(fā)至多個(gè)物理節(jié)點(diǎn)，以使所述多個(gè)物理節(jié)點(diǎn)并行處理所述多個(gè)子圖，獲得多個(gè)處理結(jié)果；

收集所述多個(gè)處理結(jié)果，并對(duì)所述多個(gè)處理結(jié)果進(jìn)行整合，獲得整合結(jié)果；

若接收到任一個(gè)物理節(jié)點(diǎn)發(fā)送的數(shù)據(jù)獲取請(qǐng)求，則根據(jù)所述數(shù)據(jù)獲取請(qǐng)求從所述整合結(jié)果中選擇并返回相應(yīng)數(shù)據(jù)，以便所述任一個(gè)物理節(jié)點(diǎn)處理所述相應(yīng)數(shù)據(jù)。

優(yōu)選地，所述多個(gè)物理節(jié)點(diǎn)并行處理所述多個(gè)子圖，獲得多個(gè)處理結(jié)果，包括：

所述目標(biāo)物理節(jié)點(diǎn)將至少一個(gè)子圖存儲(chǔ)至自身內(nèi)存；所述目標(biāo)物理節(jié)點(diǎn)為所述多個(gè)物理節(jié)點(diǎn)中的任一個(gè)；

利用NUMA技術(shù)將所述目標(biāo)物理節(jié)點(diǎn)中的CPU核和內(nèi)存，劃分為至少一個(gè)NUMA集合，并針對(duì)每個(gè)NUMA集合綁定相應(yīng)線程；

并行運(yùn)行相應(yīng)線程，獲得任一個(gè)處理結(jié)果。

優(yōu)選地，所述利用NUMA技術(shù)將所述目標(biāo)物理節(jié)點(diǎn)中的CPU核和內(nèi)存，劃分為至少一個(gè)NUMA集合，包括：

確定所述目標(biāo)物理節(jié)點(diǎn)中的CPU核的核數(shù)量，將所述核數(shù)量確定為所述NUMA集合的集合數(shù)量；

按照所述集合數(shù)量劃分所述目標(biāo)物理節(jié)點(diǎn)中的CPU核和內(nèi)存，獲得等于所述集合數(shù)量的NUMA集合；

對(duì)每個(gè)NUMA集合包括的CPU核和內(nèi)存地址范圍打標(biāo)簽。

優(yōu)選地，所述劃分所述目標(biāo)圖數(shù)據(jù)獲得多個(gè)子圖，包括：

將所述目標(biāo)圖數(shù)據(jù)按點(diǎn)分割或按邊分割，以得到所述多個(gè)子圖。

優(yōu)選地，所述目標(biāo)圖數(shù)據(jù)為無(wú)向圖、有向圖或簡(jiǎn)單圖。

優(yōu)選地，所述收集所述多個(gè)處理結(jié)果，包括：

接收每個(gè)物理節(jié)點(diǎn)推送的處理結(jié)果。

優(yōu)選地，所述對(duì)所述多個(gè)處理結(jié)果進(jìn)行整合，獲得整合結(jié)果之后，還包括：