[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910276851.1
• 申請(qǐng)日: 2019-04-08
• 公開(kāi)（公告）號(hào): CN110070117B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 陳世敏;牛頌杰;周東炎;于東海;孫仕杰
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F18/2413
• 分類號(hào): G06F18/2413;G06N3/0499;G06N3/08;G06F16/901
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明實(shí)施例公開(kāi)了一種數(shù)據(jù)處理方法及裝置，該方法包括：獲取訓(xùn)練樣本集合；訓(xùn)練樣本集合中包括多個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本；每個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本分別對(duì)應(yīng)不同的性能指標(biāo)特征；提取圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征；基于圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的性能指標(biāo)特征之間的映射關(guān)系，生成目標(biāo)性能預(yù)測(cè)模型；目標(biāo)性能預(yù)測(cè)模型用于根據(jù)輸入的圖計(jì)算任務(wù)測(cè)試樣本對(duì)應(yīng)的性能指標(biāo)特征輸出預(yù)測(cè)運(yùn)行時(shí)間。采用本發(fā)明實(shí)施例，可根據(jù)圖計(jì)算任務(wù)具備的特征預(yù)測(cè)圖計(jì)算任務(wù)的運(yùn)行時(shí)間，豐富圖計(jì)算任務(wù)的性能預(yù)測(cè)類型。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

圖(Graph)在現(xiàn)實(shí)應(yīng)用中無(wú)處不在，且圖能夠有效地表達(dá)圖頂點(diǎn)所關(guān)聯(lián)的數(shù)據(jù)之間的關(guān)聯(lián)性，比如社交媒體網(wǎng)絡(luò)中不同賬號(hào)之間的關(guān)聯(lián)性、電商平臺(tái)中商品與客戶之間的關(guān)聯(lián)性、萬(wàn)維網(wǎng)的網(wǎng)頁(yè)信息之間的關(guān)聯(lián)性等。但是，圖往往對(duì)應(yīng)有大量的頂點(diǎn)與大量的邊，并且邊與頂點(diǎn)又會(huì)關(guān)聯(lián)大量的元數(shù)據(jù)，比如用戶的性別、年齡、地理位置等。因此，對(duì)關(guān)聯(lián)數(shù)據(jù)繁多的圖計(jì)算的性能預(yù)測(cè)提出了更高的要求。

相關(guān)技術(shù)中，在對(duì)一個(gè)圖計(jì)算任務(wù)進(jìn)行性能評(píng)估時(shí)，通常需要技術(shù)人員對(duì)圖計(jì)算任務(wù)對(duì)應(yīng)的圖結(jié)構(gòu)以及執(zhí)行環(huán)境進(jìn)行分析，基于分析結(jié)果達(dá)到對(duì)圖計(jì)算任務(wù)的性能評(píng)估，但是，僅僅通過(guò)人為分析去評(píng)估圖計(jì)算任務(wù)的性能，得到的性能評(píng)估結(jié)果并不準(zhǔn)確和全面。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法及裝置，可以提高對(duì)圖計(jì)算任務(wù)進(jìn)行性能評(píng)估的準(zhǔn)確性，同時(shí)豐富對(duì)圖計(jì)算任務(wù)的性能評(píng)估類型。

本發(fā)明實(shí)施例一方面提供了一種數(shù)據(jù)處理方法，包括：

獲取訓(xùn)練樣本集合；所述訓(xùn)練樣本集合中包括多個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本；每個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本分別對(duì)應(yīng)不同的性能指標(biāo)特征；

提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，所述性能指標(biāo)特征包括如下至少一種：圖數(shù)據(jù)特征、圖處理平臺(tái)特征、圖算法特征以及機(jī)器硬件特征；

基于所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的性能指標(biāo)特征之間的映射關(guān)系，生成目標(biāo)性能預(yù)測(cè)模型；所述目標(biāo)性能預(yù)測(cè)模型用于根據(jù)輸入的圖計(jì)算任務(wù)測(cè)試樣本對(duì)應(yīng)的性能指標(biāo)特征輸出預(yù)測(cè)運(yùn)行時(shí)間。

其中，所述性能指標(biāo)特征為所述圖數(shù)據(jù)特征，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)的頂點(diǎn)數(shù)、邊數(shù)；

基于指數(shù)長(zhǎng)度或者相同長(zhǎng)度將所述圖計(jì)算任務(wù)訓(xùn)練樣本的度數(shù)區(qū)間劃分為多個(gè)子區(qū)間，根據(jù)所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)中每個(gè)頂點(diǎn)的度數(shù)所屬的子區(qū)間的度數(shù)范圍，確定每個(gè)子區(qū)間包含的頂點(diǎn)個(gè)數(shù)，基于所述每個(gè)子區(qū)間包含的頂點(diǎn)個(gè)數(shù)確定所述圖計(jì)算任務(wù)訓(xùn)練樣本的度數(shù)分布；

將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)的頂點(diǎn)數(shù)、邊數(shù)、度數(shù)分布確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本的性能指標(biāo)特征。

其中，所述性能指標(biāo)特征為所述圖處理平臺(tái)特征，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖處理平臺(tái)的圖劃分規(guī)則、內(nèi)存池容量、通信緩沖區(qū)容量、消息分發(fā)策略、超步數(shù)、消息數(shù)確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征。

其中，所述性能指標(biāo)特征為所述圖算法特征，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖算法的計(jì)算量、超步數(shù)、單條消息數(shù)據(jù)量、消息總數(shù)確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征。

其中，所述性能指標(biāo)特征為所述機(jī)器硬件特征，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：