[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910276851.1
• 申請(qǐng)日: 2019-04-08
• 公開(kāi)（公告）號(hào): CN110070117B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 陳世敏;牛頌杰;周東炎;于東海;孫仕杰
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F18/2413
• 分類號(hào): G06F18/2413;G06N3/0499;G06N3/08;G06F16/901
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取訓(xùn)練樣本集合，所述訓(xùn)練樣本集合中包括多個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本，每個(gè)圖計(jì)算任務(wù)訓(xùn)練樣本分別對(duì)應(yīng)不同的性能指標(biāo)特征；

提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，所述性能指標(biāo)特征包括如下至少一種：圖數(shù)據(jù)特征、圖處理平臺(tái)特征、圖算法特征以及機(jī)器硬件特征；若所述性能指標(biāo)特征為所述機(jī)器硬件特征，則所述性能指標(biāo)特征包括所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的機(jī)器硬件的核心處理性能、內(nèi)存容量、網(wǎng)絡(luò)帶寬和設(shè)備集群數(shù)量；

基于所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的性能指標(biāo)特征之間的映射關(guān)系，生成目標(biāo)性能預(yù)測(cè)模型，所述目標(biāo)性能預(yù)測(cè)模型用于根據(jù)輸入的圖計(jì)算任務(wù)測(cè)試樣本對(duì)應(yīng)的性能指標(biāo)特征輸出預(yù)測(cè)運(yùn)行時(shí)間。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

若所述性能指標(biāo)特征為所述圖數(shù)據(jù)特征，則提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)的頂點(diǎn)數(shù)和邊數(shù)；

基于指數(shù)長(zhǎng)度或者相同長(zhǎng)度將所述圖計(jì)算任務(wù)訓(xùn)練樣本的度數(shù)區(qū)間劃分為多個(gè)子區(qū)間，根據(jù)所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)中每個(gè)頂點(diǎn)的度數(shù)所屬的子區(qū)間的度數(shù)范圍，確定每個(gè)子區(qū)間包含的頂點(diǎn)個(gè)數(shù)，基于所述每個(gè)子區(qū)間包含的頂點(diǎn)個(gè)數(shù)確定所述圖計(jì)算任務(wù)訓(xùn)練樣本的度數(shù)分布；

將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖數(shù)據(jù)的頂點(diǎn)數(shù)、邊數(shù)和度數(shù)分布確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本的性能指標(biāo)特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

若所述性能指標(biāo)特征為所述圖處理平臺(tái)特征，則將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖處理平臺(tái)的圖劃分規(guī)則、內(nèi)存池容量、通信緩沖區(qū)容量、消息分發(fā)策略、超步數(shù)和消息數(shù)確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征，包括：

若所述性能指標(biāo)特征為所述圖算法特征，則將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的圖算法的計(jì)算量、超步數(shù)、單條消息數(shù)據(jù)量和消息總數(shù)確定為所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的性能指標(biāo)特征之間的映射關(guān)系，生成目標(biāo)性能預(yù)測(cè)模型，包括：

將所述圖計(jì)算任務(wù)訓(xùn)練樣本對(duì)應(yīng)的性能指標(biāo)特征進(jìn)行歸一化，得到待訓(xùn)練特征；

基于所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的待訓(xùn)練特征之間的映射關(guān)系，生成目標(biāo)訓(xùn)練樣本集合；

將所述目標(biāo)訓(xùn)練樣本集合輸入到初始性能預(yù)測(cè)模型的輸入層，并在所述初始性能預(yù)測(cè)模型的輸出層得到所述圖計(jì)算任務(wù)訓(xùn)練樣本的訓(xùn)練預(yù)測(cè)時(shí)間；

基于所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與訓(xùn)練預(yù)測(cè)時(shí)間，修正所述初始性能預(yù)測(cè)模型的模型參數(shù)；

基于所述初始性能預(yù)測(cè)模型、修正后的模型參數(shù)以及所述圖計(jì)算任務(wù)訓(xùn)練樣本的實(shí)際運(yùn)行時(shí)間與所對(duì)應(yīng)的待訓(xùn)練特征之間的映射關(guān)系，生成所述目標(biāo)性能預(yù)測(cè)模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，還包括：

獲取測(cè)試樣本集合；所述測(cè)試樣本集合中包括多個(gè)圖計(jì)算任務(wù)測(cè)試樣本；

提取所述圖計(jì)算任務(wù)測(cè)試樣本對(duì)應(yīng)的性能指標(biāo)特征；所述性能指標(biāo)特征包括圖數(shù)據(jù)特征、圖處理平臺(tái)特征、圖算法特征以及機(jī)器硬件特征；

將所述圖計(jì)算任務(wù)測(cè)試樣本的性能指標(biāo)特征進(jìn)行歸一化，得到待測(cè)試特征；

基于所述目標(biāo)性能預(yù)測(cè)模型、所述圖計(jì)算任務(wù)測(cè)試樣本對(duì)應(yīng)的待測(cè)試特征，確定所述圖計(jì)算任務(wù)測(cè)試樣本的預(yù)測(cè)運(yùn)行時(shí)間。