[發(fā)明專利]數(shù)據(jù)處理的方法、裝置和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611270144.4
• 申請(qǐng)日: 2016-12-30
• 公開（公告）號(hào): CN108268931B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 汪濤;宋風(fēng)龍;薛希俊
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 毛威;肖鸝

1.一種數(shù)據(jù)處理的方法，其特征在于，包括：

獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)為以下數(shù)據(jù)中的至少一種數(shù)據(jù)：圖像數(shù)據(jù)、視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)；

獲取第一卷積層的卷積運(yùn)算特性，所述第一卷積層為神經(jīng)網(wǎng)絡(luò)模型中的任一卷積層，所述神經(jīng)網(wǎng)絡(luò)模型包括至少一個(gè)卷積層，其中，所述第一卷積層的卷積運(yùn)算特性包括卷積核的移動(dòng)步進(jìn)、所述卷積核的尺寸和第一參數(shù)，其中，所述第一參數(shù)包括輸入通道的數(shù)目和處理器的并行粒度；

對(duì)所述卷積核的移動(dòng)步進(jìn)進(jìn)行判斷，當(dāng)所述卷積核的移動(dòng)步進(jìn)等于1時(shí)，確定第一并行方法；

當(dāng)所述卷積核的移動(dòng)步進(jìn)不等于1時(shí)，對(duì)所述卷積核的尺寸進(jìn)行判斷，當(dāng)所述卷積核的尺寸等于所述卷積核的移動(dòng)步進(jìn)時(shí)，確定第二并行方法；

當(dāng)所述卷積核的尺寸不等于所述卷積核的移動(dòng)步進(jìn)時(shí)，對(duì)所述第一參數(shù)進(jìn)行判斷，確定第三并行方法或者第四并行方法；

通過(guò)所述第一并行方法、所述第二并行方法、所述第三并行方法或者第四并行方法，從所述輸入數(shù)據(jù)中獲取與所述處理器的并行粒度數(shù)量相等的多個(gè)數(shù)據(jù)塊，所述多個(gè)數(shù)據(jù)塊中的每個(gè)數(shù)據(jù)塊用于與卷積核進(jìn)行卷積處理；

將所述多個(gè)數(shù)據(jù)塊并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)所述第一并行方法，從所述輸入數(shù)據(jù)中獲取與所述處理器的并行粒度數(shù)量相等的多個(gè)數(shù)據(jù)塊，包括：

在所述移動(dòng)步進(jìn)等于1時(shí)，從所述第一卷積層的任一輸入通道的數(shù)據(jù)中獲取所述多個(gè)數(shù)據(jù)塊，所述第一卷積層的任一輸入通道的數(shù)據(jù)屬于所述輸入數(shù)據(jù)，所述多個(gè)數(shù)據(jù)塊中的第i個(gè)數(shù)據(jù)塊與所述多個(gè)數(shù)據(jù)塊中的第(i+1)個(gè)數(shù)據(jù)塊具有(K-1)個(gè)向量重疊，i為正整數(shù)，K為所述卷積核的尺寸，K為大于1的正整數(shù)；

所述將所述多個(gè)數(shù)據(jù)塊并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)，包括：

將所述多個(gè)數(shù)據(jù)塊與所述第一卷積層的任一卷積核并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)所述第二并行方法，從所述輸入數(shù)據(jù)中獲取與所述處理器的并行粒度數(shù)量相等的多個(gè)數(shù)據(jù)塊，包括：

在所述移動(dòng)步進(jìn)大于1且所述移動(dòng)步進(jìn)等于所述卷積核的尺寸時(shí)，從所述第一卷積層的任一輸入通道的數(shù)據(jù)中獲取所述多個(gè)數(shù)據(jù)塊，所述第一卷積層的任一輸入通道的數(shù)據(jù)屬于所述輸入數(shù)據(jù)，所述多個(gè)數(shù)據(jù)塊中的任意兩個(gè)數(shù)據(jù)塊具有0個(gè)向量重疊；

將所述多個(gè)數(shù)據(jù)塊并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)，包括：

將所述多個(gè)數(shù)據(jù)塊與所述第一卷積層中任一卷積核并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)所述第三并行方法或所述第四并行方法從所述輸入數(shù)據(jù)中獲取與所述處理器的并行粒度數(shù)量相等的多個(gè)數(shù)據(jù)塊包括：

在所述移動(dòng)步進(jìn)大于1且所述移動(dòng)步進(jìn)不等于所述卷積核的尺寸時(shí)，根據(jù)所述輸入通道的數(shù)目與所述處理器的并行粒度的大小關(guān)系，從所述輸入數(shù)據(jù)中獲取所述多個(gè)數(shù)據(jù)塊。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述移動(dòng)步進(jìn)大于1且所述移動(dòng)步進(jìn)不等于所述卷積核的尺寸時(shí)，根據(jù)所述輸入通道的數(shù)目與所述處理器的并行粒度的大小關(guān)系，從所述輸入數(shù)據(jù)中獲取所述多個(gè)數(shù)據(jù)塊，包括：

在所述移動(dòng)步進(jìn)大于1且所述移動(dòng)步進(jìn)不等于所述卷積核的尺寸以及所述輸入通道的數(shù)目小于所述處理器并行粒度時(shí)，根據(jù)所述移動(dòng)步進(jìn)，將第一輸入通道的數(shù)據(jù)劃分為(m*m)個(gè)輸入數(shù)據(jù)子塊，所述第一輸入通道為所述第一卷積層的任一卷積層，所述第一輸入通道的數(shù)據(jù)屬于所述輸入數(shù)據(jù)，m為(N/S)的ceil函數(shù)，N為所述第一輸入通道的數(shù)據(jù)的尺寸，S為所述移動(dòng)步進(jìn)；

從所述(m*m)個(gè)輸入數(shù)據(jù)子塊中獲取所述多個(gè)數(shù)據(jù)塊；

所述方法還包括：

根據(jù)所述移動(dòng)步進(jìn)，將所述第一卷積層的任一卷積核劃分為(t*t)個(gè)卷積核子塊，t為(K/S)的ceil函數(shù)；

將所述多個(gè)數(shù)據(jù)塊并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)，包括：

將所述多個(gè)數(shù)據(jù)塊中的每個(gè)數(shù)據(jù)塊與所述(t*t)個(gè)卷積核子塊中的任一卷積核子塊并行地進(jìn)行卷積處理，以獲取輸出數(shù)據(jù)。