[發(fā)明專(zhuān)利]數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010432336.0
• 申請(qǐng)日: 2020-05-20
• 公開(kāi)（公告）號(hào): CN111598227A
• 公開(kāi)（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 楊林杰;金慶
• 申請(qǐng)（專(zhuān)利權(quán)）人: 字節(jié)跳動(dòng)有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08;G06F7/575
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 張?bào)銓?/td>

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

將待檢測(cè)數(shù)據(jù)輸入訓(xùn)練后的計(jì)算模型；所述訓(xùn)練后的計(jì)算模型包括多層神經(jīng)網(wǎng)絡(luò)，每層神經(jīng)網(wǎng)絡(luò)設(shè)置有第一輸入量化比特?cái)?shù)、第一權(quán)值量化比特?cái)?shù)，以及權(quán)值矩陣；所述第一輸入量化比特?cái)?shù)和所述第一權(quán)值量化比特?cái)?shù)為浮點(diǎn)數(shù)；

確定出每層神經(jīng)網(wǎng)絡(luò)中所述第一輸入量化比特?cái)?shù)對(duì)應(yīng)的量化輸入矩陣，以及，確定出所述第一權(quán)值量化比特?cái)?shù)對(duì)應(yīng)的量化權(quán)值矩陣；

基于所述量化輸入矩陣和所述量化權(quán)值矩陣對(duì)所述待檢測(cè)數(shù)據(jù)進(jìn)行計(jì)算，得到每層神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的各個(gè)輸出矩陣，并將各個(gè)輸出矩陣作為所述待檢測(cè)數(shù)據(jù)的目標(biāo)標(biāo)注值。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述訓(xùn)練后的計(jì)算模型通過(guò)如下方式生成：

將預(yù)設(shè)的樣本數(shù)據(jù)集輸入預(yù)設(shè)的計(jì)算模型；所述計(jì)算模型包括多層神經(jīng)網(wǎng)絡(luò)，每層神經(jīng)網(wǎng)絡(luò)設(shè)置有初始輸入量化比特?cái)?shù)、初始權(quán)值量化比特?cái)?shù)，以及初始權(quán)值矩陣；所述初始輸入量化比特?cái)?shù)和所述初始權(quán)值量化比特?cái)?shù)為浮點(diǎn)數(shù)；

確定出每層神經(jīng)網(wǎng)絡(luò)中所述初始輸入量化比特?cái)?shù)對(duì)應(yīng)的量化輸入矩陣，以及，確定出所述初始權(quán)值量化比特?cái)?shù)對(duì)應(yīng)的量化權(quán)值矩陣；

基于所述量化輸入矩陣和所述量化權(quán)值矩陣對(duì)樣本數(shù)據(jù)進(jìn)行計(jì)算得到損失函數(shù)；

基于所述損失函數(shù)對(duì)每層神經(jīng)網(wǎng)絡(luò)中所述初始輸入量化比特?cái)?shù)、初始權(quán)值量化比特?cái)?shù)，以及初始權(quán)值矩陣進(jìn)行迭代更新，直至所述樣本數(shù)據(jù)集中每個(gè)樣本數(shù)據(jù)均被計(jì)算完成，得到更新后的第二輸入量化比特?cái)?shù)、第二權(quán)值量化比特?cái)?shù)，以及第二權(quán)值矩陣；所述第二輸入量化比特?cái)?shù)和所述第二權(quán)值量化比特?cái)?shù)為浮點(diǎn)數(shù)；

將所述第二輸入量化比特?cái)?shù)、第二權(quán)值量化比特?cái)?shù)進(jìn)行取整，得到目標(biāo)輸入量化比特?cái)?shù)和目標(biāo)權(quán)值量化比特?cái)?shù)；

基于所述目標(biāo)輸入量化比特?cái)?shù)和目標(biāo)權(quán)值量化比特?cái)?shù)對(duì)對(duì)應(yīng)層的神經(jīng)網(wǎng)絡(luò)中所述第二權(quán)值矩陣進(jìn)行迭代更新，直至所述樣本數(shù)據(jù)集中每個(gè)樣本數(shù)據(jù)均被計(jì)算完成，得到每層神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的各個(gè)目標(biāo)權(quán)值矩陣，以及包含各個(gè)目標(biāo)權(quán)值矩陣的訓(xùn)練后的計(jì)算模型。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述確定出所述初始輸入量化比特?cái)?shù)對(duì)應(yīng)的量化輸入矩陣，以及，確定出所述初始權(quán)值量化比特?cái)?shù)對(duì)應(yīng)的量化權(quán)值矩陣，包括：

基于所述初始輸入量化比特?cái)?shù)相鄰的第三輸入量化比特?cái)?shù)，采用預(yù)設(shè)算法確定出所述初始輸入量化比特?cái)?shù)對(duì)應(yīng)的量化輸入矩陣，以及，基于所述初始權(quán)值量化比特?cái)?shù)相鄰的第三權(quán)值量化比特?cái)?shù)，采用預(yù)設(shè)算法確定出所述初始權(quán)值量化比特?cái)?shù)對(duì)應(yīng)的量化權(quán)值矩陣。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述樣本數(shù)據(jù)集包括多個(gè)樣本數(shù)據(jù)，每個(gè)樣本數(shù)據(jù)具有原始標(biāo)注值；

所述基于所述量化輸入矩陣和所述量化權(quán)值矩陣對(duì)樣本數(shù)據(jù)進(jìn)行計(jì)算得到損失函數(shù)，包括：

基于所述量化輸入矩陣和所述量化權(quán)值矩陣對(duì)每個(gè)樣本數(shù)據(jù)進(jìn)行計(jì)算，得到每層神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的各個(gè)輸出矩陣，并基于各個(gè)輸出矩陣和每個(gè)樣本數(shù)據(jù)的原始標(biāo)注值計(jì)算得到損失函數(shù)。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述預(yù)設(shè)算法為：其中，λ為初始量化比特?cái)?shù)，f_λ(x)為初始量化比特?cái)?shù)對(duì)應(yīng)的量化矩陣，為與λ相鄰，且小于λ的第三量化比特?cái)?shù)，為對(duì)應(yīng)的量化矩陣，為與λ相鄰，且大于λ的第三量化比特?cái)?shù)，為對(duì)應(yīng)的量化矩陣；其中，初始量化比特?cái)?shù)為浮點(diǎn)數(shù)，第三量化比特?cái)?shù)為正整數(shù)。

6.根據(jù)權(quán)利要求2至5任一所述的數(shù)據(jù)處理方法，其特征在于，所述預(yù)設(shè)的計(jì)算模型為全精度模型，所述訓(xùn)練后的計(jì)算模型為混合精度模型。