[發(fā)明專利]分布式數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910860272.1
• 申請(qǐng)日: 2019-09-11
• 公開（公告）號(hào): CN110609870B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 汪振興
• 申請(qǐng)（專利權(quán)）人: 簡(jiǎn)鏈科技（廣東）有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06N20/00
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 孫瑞峰

1.一種分布式數(shù)據(jù)處理方法，其特征在于，包括：

將圖數(shù)據(jù)庫(kù)的圖數(shù)據(jù)集加載到分布式計(jì)算系統(tǒng)中；

根據(jù)所述圖數(shù)據(jù)集分別構(gòu)建當(dāng)前的關(guān)系矩陣、傳播矩陣和標(biāo)簽矩陣；

在所述分布式計(jì)算系統(tǒng)中運(yùn)行分布式的標(biāo)簽傳播運(yùn)算，通過所述傳播矩陣更新所述標(biāo)簽矩陣；

在最近兩次處理結(jié)果未收斂時(shí)，迭代執(zhí)行所述構(gòu)建和所述運(yùn)算過程；在最近兩次處理結(jié)果收斂或全部節(jié)點(diǎn)均已具備標(biāo)簽數(shù)據(jù)時(shí)，根據(jù)所述標(biāo)簽矩陣提取至少一個(gè)待評(píng)估變量輸出給一個(gè)或多個(gè)人工智能模型，

所述構(gòu)建當(dāng)前的關(guān)系矩陣包括：根據(jù)當(dāng)前無標(biāo)簽的節(jié)點(diǎn)的關(guān)系對(duì)象和關(guān)系權(quán)重構(gòu)成表示全部節(jié)點(diǎn)關(guān)系的稀疏矩陣，

所述構(gòu)建當(dāng)前的傳播矩陣包括：選取在預(yù)定義時(shí)間區(qū)間內(nèi)與其對(duì)應(yīng)的黑白標(biāo)簽數(shù)據(jù)表現(xiàn)一致的節(jié)點(diǎn)作為表現(xiàn)節(jié)點(diǎn)，從所述當(dāng)前的關(guān)系矩陣中抽取由所述表現(xiàn)節(jié)點(diǎn)到所述當(dāng)前無標(biāo)簽的節(jié)點(diǎn)的稀疏矩陣，同時(shí)確定每個(gè)表現(xiàn)節(jié)點(diǎn)的鍵值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建當(dāng)前的標(biāo)簽矩陣包括：對(duì)于每個(gè)表現(xiàn)節(jié)點(diǎn)，根據(jù)其對(duì)應(yīng)的黑白標(biāo)簽數(shù)據(jù)確定其為黑點(diǎn)和白點(diǎn)的概率值，將所有表現(xiàn)節(jié)點(diǎn)的概率值組成所述標(biāo)簽矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分布式的標(biāo)簽傳播運(yùn)算包括：利用多個(gè)分布式設(shè)備并行運(yùn)行標(biāo)簽傳播運(yùn)算，其中，根據(jù)表現(xiàn)節(jié)點(diǎn)的鍵拆分所述運(yùn)算，使得相同鍵的數(shù)據(jù)在相同的設(shè)備上運(yùn)行。

4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述更新所述標(biāo)簽矩陣包括：對(duì)本次標(biāo)簽傳播運(yùn)算后的數(shù)據(jù)進(jìn)行組合匯總，更新所述標(biāo)簽矩陣并進(jìn)行歸一化處理。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述組合匯總包括：根據(jù)節(jié)點(diǎn)的鍵進(jìn)行計(jì)算，以將拆分后的分布式運(yùn)算結(jié)果合并。

6.一種分布式數(shù)據(jù)處理裝置，其特征在于，包括：

數(shù)據(jù)加載模塊，用于將圖數(shù)據(jù)庫(kù)的圖數(shù)據(jù)集加載到分布式計(jì)算系統(tǒng)中；

矩陣構(gòu)建模塊，用于根據(jù)所述圖數(shù)據(jù)集分別構(gòu)建當(dāng)前的關(guān)系矩陣、傳播矩陣和標(biāo)簽矩陣，所述構(gòu)建當(dāng)前的關(guān)系矩陣包括：根據(jù)當(dāng)前無標(biāo)簽的節(jié)點(diǎn)的關(guān)系對(duì)象和關(guān)系權(quán)重構(gòu)成表示全部節(jié)點(diǎn)關(guān)系的稀疏矩陣，

所述構(gòu)建當(dāng)前的傳播矩陣包括：選取在預(yù)定義時(shí)間區(qū)間內(nèi)與其對(duì)應(yīng)的黑白標(biāo)簽數(shù)據(jù)表現(xiàn)一致的節(jié)點(diǎn)作為表現(xiàn)節(jié)點(diǎn)，從所述當(dāng)前的關(guān)系矩陣中抽取由所述表現(xiàn)節(jié)點(diǎn)到所述當(dāng)前無標(biāo)簽的節(jié)點(diǎn)的稀疏矩陣，同時(shí)確定每個(gè)表現(xiàn)節(jié)點(diǎn)的鍵值；

分布式運(yùn)算模塊，用于在所述分布式計(jì)算系統(tǒng)中運(yùn)行分布式的標(biāo)簽傳播運(yùn)算，通過所述傳播矩陣更新所述標(biāo)簽矩陣；

迭代控制模塊，用于在最近兩次處理結(jié)果未收斂時(shí)，迭代執(zhí)行所述構(gòu)建和所述運(yùn)算過程；

輸出模塊，用于在最近兩次處理結(jié)果收斂或全部節(jié)點(diǎn)均已具備標(biāo)簽數(shù)據(jù)時(shí)，根據(jù)所述標(biāo)簽矩陣提取至少一個(gè)待評(píng)估變量輸出給一個(gè)或多個(gè)人工智能模型。

7.一種電子設(shè)備，其特征在于，包括：

存儲(chǔ)器以及一個(gè)或多個(gè)處理器；

其中，所述存儲(chǔ)器與所述一個(gè)或多個(gè)處理器通信連接，所述存儲(chǔ)器中存儲(chǔ)有可被所述一個(gè)或多個(gè)處理器執(zhí)行的指令，所述指令被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述電子設(shè)備用于實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令被計(jì)算裝置執(zhí)行時(shí)，可用來實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的方法。