[發(fā)明專利]數(shù)據(jù)處理方法、裝置以及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010693821.3
• 申請(qǐng)日: 2020-07-17
• 公開(kāi)（公告）號(hào): CN111782402A
• 公開(kāi)（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 鐘衛(wèi)東;張曉帆
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N3/10
• 代理公司: 深圳市智圈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 苗燕

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取待運(yùn)行模型的模型參數(shù)；

根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法；

基于所述目標(biāo)算法將所述待運(yùn)行模型加載到對(duì)應(yīng)的處理單元，以運(yùn)行所述待運(yùn)行模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述模型參數(shù)包括輸入數(shù)據(jù)拆分參數(shù)以及輸入數(shù)據(jù)大小；所述根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法，包括：

若所述輸入數(shù)據(jù)拆分參數(shù)表征支持輸入數(shù)據(jù)拆分，且輸入到所述待運(yùn)行模型的輸入數(shù)據(jù)大小大于第一指定閾值，從多個(gè)算法中確定數(shù)據(jù)并行化算法作為目標(biāo)算法。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述模型參數(shù)還包括所包括算子數(shù)量超過(guò)算子閾值的層數(shù)，所述根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法還包括：

若所述輸入數(shù)據(jù)拆分參數(shù)表征不支持輸入數(shù)據(jù)拆分，且所述所包括算子數(shù)量超過(guò)算子閾值的層數(shù)大于第二指定閾值，從多個(gè)算法中確定算子并行化算法作為目標(biāo)算法；

或者若所述輸入數(shù)據(jù)拆分參數(shù)表征支持輸入數(shù)據(jù)拆分，且輸入到所述待運(yùn)行模型的輸入數(shù)據(jù)大小不大于所述第一指定閾值，且所述所包括算子數(shù)量超過(guò)算子閾值的層數(shù)大于第二指定閾值，從多個(gè)算法中確定算子并行化算法作為目標(biāo)算法。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述模型參數(shù)還包括模型的層數(shù)，所述根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法還包括：

若所述輸入數(shù)據(jù)拆分參數(shù)表征不支持輸入數(shù)據(jù)拆分，且所述所包括算子數(shù)量超過(guò)算子閾值的層數(shù)不大于所述第二指定閾值，且所述模型的層數(shù)大于第三指定閾值，從多個(gè)算法中確定層間流水線算法作為目標(biāo)算法；

或者若所述輸入數(shù)據(jù)拆分參數(shù)表征支持輸入數(shù)據(jù)拆分，且輸入到所述待運(yùn)行模型的輸入數(shù)據(jù)大小不大于所述第一指定閾值，且所述所包括算子數(shù)量超過(guò)算子閾值的層數(shù)不大于所述第二指定閾值，且所述模型的層數(shù)大于第三指定閾值，從多個(gè)算法中確定層間流水線算法作為目標(biāo)算法。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法還包括：

若所述輸入數(shù)據(jù)拆分參數(shù)表征不支持輸入數(shù)據(jù)拆分，且所述所包括算子數(shù)量超過(guò)算子閾值的層數(shù)不大于所述第二指定閾值，且所述模型的層數(shù)不大于所述第三指定閾值，從多個(gè)算法中確定非并行化算法作為目標(biāo)算法。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，所述基于所述目標(biāo)算法將所述待運(yùn)行模型加載到對(duì)應(yīng)的處理單元，以運(yùn)行所述待運(yùn)行模型，包括：

基于所述目標(biāo)算法對(duì)所述待運(yùn)行模型進(jìn)行拆分，得到多個(gè)子部分，其中，不同目標(biāo)算法所對(duì)應(yīng)的拆分規(guī)則不同；

將所述多個(gè)子部分分別加載到對(duì)應(yīng)的處理單元進(jìn)行運(yùn)行。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述多個(gè)子部分分別加載到對(duì)應(yīng)的處理單元進(jìn)行運(yùn)行之后還包括：

獲取所述待運(yùn)行模型對(duì)應(yīng)的運(yùn)行性能參數(shù)；

若所述運(yùn)行性能參數(shù)不滿足第一目標(biāo)條件，重新選擇所述目標(biāo)算法；

若所述運(yùn)行性能參數(shù)不滿足第二目標(biāo)條件，重新基于當(dāng)前的目標(biāo)算法對(duì)所述待運(yùn)行模型進(jìn)行拆分，得到新的多個(gè)子部分，所述新的多個(gè)子部分各部分的比例與所述多個(gè)子部分中各個(gè)部分的比例不同。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第一目標(biāo)條件包括：多個(gè)所述處理單元之間的平均數(shù)據(jù)通信時(shí)長(zhǎng)不大于時(shí)長(zhǎng)閾值。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第二目標(biāo)條件包括：多個(gè)所述處理單元各自對(duì)應(yīng)的運(yùn)行時(shí)間的標(biāo)準(zhǔn)差不大于標(biāo)準(zhǔn)差閾值。

10.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

參數(shù)獲取單元，用于獲取待運(yùn)行模型的模型參數(shù)；

算法確定單元，用于根據(jù)所述模型參數(shù)從多個(gè)算法中確定目標(biāo)算法；

模型運(yùn)行單元，用于基于所述目標(biāo)算法將所述待運(yùn)行模型加載到對(duì)應(yīng)的處理單元，以運(yùn)行所述待運(yùn)行模型。