[發(fā)明專利]一種數(shù)據(jù)處理方法及相關(guān)設(shè)備

有效

• 申請?zhí)枺?/td>: 202010088948.2
• 申請日: 2020-02-12
• 公開（公告）號: CN111368993B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 侯璐;尚利峰;蔣欣
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06N3/096
• 分類號: G06N3/096;G06N3/082;G06N3/0455;G06N3/0499;G06N3/10
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取第一神經(jīng)網(wǎng)絡(luò)模型和終端設(shè)備的可用資源狀態(tài)，其中，所述第一神經(jīng)網(wǎng)絡(luò)模型包括至少一個(gè)轉(zhuǎn)換transformer層，所述至少一個(gè)transformer層包括第一transformer層，所述第一transformer層包括M個(gè)注意力頭和第一前饋層，所述第一前饋層包括第一中間層intermediate layer，所述第一intermediate layer包括N個(gè)神經(jīng)元，所述M和N為正整數(shù)；

根據(jù)所述可用資源狀態(tài)確定第二神經(jīng)網(wǎng)絡(luò)模型，其中，所述第二神經(jīng)網(wǎng)絡(luò)模型為基于所述第一神經(jīng)網(wǎng)絡(luò)模型得到的，所述第二神經(jīng)網(wǎng)絡(luò)模型至少滿足如下的一種條件：

所述第二神經(jīng)網(wǎng)絡(luò)模型包括與所述第一transformer層對應(yīng)的第二transformer層，所述第二transformer層包括的注意力頭的數(shù)量小于所述M；或，

所述第二神經(jīng)網(wǎng)絡(luò)模型包括與所述第一intermediate layer對應(yīng)的第二intermediate layer，所述第二intermediate layer包括的神經(jīng)元的數(shù)量小于所述N；或，

所述第二神經(jīng)網(wǎng)絡(luò)模型包括的transformer層的數(shù)量小于所述第一神經(jīng)網(wǎng)絡(luò)模型包括的transformer層的數(shù)量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型為通過對初始神經(jīng)網(wǎng)絡(luò)模型在至少一個(gè)第一寬度尺寸下進(jìn)行知識(shí)蒸餾訓(xùn)練得到的，其中，所述至少一個(gè)第一寬度尺寸中的每個(gè)第一寬度尺寸表示transformer層包括的注意力頭的數(shù)量，所述第二transformer層包括的注意力頭的數(shù)量為所述至少一個(gè)第一寬度尺寸中的一個(gè)；或，

所述第一神經(jīng)網(wǎng)絡(luò)模型為通過對初始神經(jīng)網(wǎng)絡(luò)模型在至少一個(gè)第二寬度尺寸下進(jìn)行知識(shí)蒸餾訓(xùn)練得到的，其中，所述至少一個(gè)第二寬度尺寸中的每個(gè)第二寬度尺寸表示intermediate layer包括的神經(jīng)元的數(shù)量，所述第二intermediate layer層包括的神經(jīng)元的數(shù)量為所述至少一個(gè)第二寬度尺寸中的一個(gè)；或，

所述第一神經(jīng)網(wǎng)絡(luò)模型為通過對初始神經(jīng)網(wǎng)絡(luò)模型在至少一個(gè)深度尺寸下進(jìn)行知識(shí)蒸餾訓(xùn)練得到的，其中，所述至少一個(gè)深度尺寸中的每個(gè)深度尺寸表示transformer層的數(shù)量，所述第二transformer層的數(shù)量為所述至少一個(gè)深度尺寸中的一個(gè)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述第二transformer層包括的每個(gè)注意力頭為所述第一transformer層包括的M個(gè)注意力頭中的一個(gè)；或，

所述第二intermediate layer包括的每個(gè)神經(jīng)元為所述第一intermediate layer包括的N個(gè)神經(jīng)元中的一個(gè)。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述第二intermediate layer包括的神經(jīng)元的數(shù)量與所述第一intermediate layer包括的神經(jīng)元的數(shù)量的比值為第一比例值，所述第二transformer層包括的注意力頭的數(shù)量與所述第一transformer層包括的注意力頭的數(shù)量的比值為第二比例值，所述第一比例值等于所述第二比例值。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述第二transformer層包括第一注意力頭，所述M個(gè)注意力頭包括所述第一注意力頭和第二注意力頭，所述第二transformer層不包括所述第二注意力頭，所述第一注意力頭對所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果的影響能力大于所述第二注意力頭對所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果的影響能力；或，

所述第二intermediate layer包括第一神經(jīng)元，所述N個(gè)神經(jīng)元包括所述第一神經(jīng)元和第二神經(jīng)元，所述第二intermediate layer不包括所述第二神經(jīng)元，所述第一神經(jīng)元對所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果的影響能力大于所述第二神經(jīng)元對所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果的影響能力。