[發(fā)明專(zhuān)利]用于神經(jīng)網(wǎng)絡(luò)稀疏信道生成和推斷的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011039200.X
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN113078974B
• 公開(kāi)（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 郭敏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 百度（美國(guó)）有限責(zé)任公司
• 主分類(lèi)號(hào): H04B17/391
• 分類(lèi)號(hào): H04B17/391;G06N3/0464
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;王艷春

1.用于操作神經(jīng)網(wǎng)絡(luò)模型的推斷層的計(jì)算機(jī)實(shí)施的方法，所述方法包括：

讀取所述神經(jīng)網(wǎng)絡(luò)模型的推斷層的元數(shù)據(jù)，所述推斷層包括多個(gè)信道，并且所述元數(shù)據(jù)包括與所述多個(gè)信道相對(duì)應(yīng)的多個(gè)信道核的信道稀疏度度量；

將與所述多個(gè)信道中的一個(gè)信道相對(duì)應(yīng)的所述信道核的所述信道稀疏度度量與稀疏推斷閾值進(jìn)行比較；以及

響應(yīng)于確定出對(duì)應(yīng)于所述一個(gè)信道的所述信道核的所述信道稀疏度度量大于所述稀疏推斷閾值，啟用所述一個(gè)信道的推斷操作；或者

響應(yīng)于確定出對(duì)應(yīng)于所述一個(gè)信道的所述信道核的所述信道稀疏度度量小于或等于所述稀疏推斷閾值，禁用所述一個(gè)信道的推斷操作。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述稀疏推斷閾值根據(jù)所述推斷操作的所需速度或準(zhǔn)確性進(jìn)行動(dòng)態(tài)地調(diào)整。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

讀取所述神經(jīng)網(wǎng)絡(luò)模型的附加推斷層的元數(shù)據(jù)；以及

將與所述附加推斷層的一個(gè)信道相對(duì)應(yīng)的信道核的信道稀疏度度量與第二稀疏推斷閾值進(jìn)行比較；以及

響應(yīng)于確定與所述附加推斷層的所述一個(gè)信道相對(duì)應(yīng)的所述信道核的所述信道稀疏度度量大于所述第二稀疏推斷閾值，控制所述附加推斷層的所述一個(gè)信道的推斷操作。

4.根據(jù)權(quán)利要求1所述的方法，還包括：

訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，以生成與所述推斷層的多個(gè)原始信道相對(duì)應(yīng)的多個(gè)原始信道核；

根據(jù)所述多個(gè)原始信道核的信道稀疏度度量對(duì)所述推斷層的所述多個(gè)原始信道核進(jìn)行排序，以確定所述推斷層的對(duì)應(yīng)的所述原始信道是密集信道還是稀疏信道；

將所述推斷層的所有稀疏信道合并為合并后的稀疏信道，以生成合并后的信道核；以及

重新訓(xùn)練所述合并后的信道核，以生成對(duì)應(yīng)于所述合并后的稀疏信道的重新訓(xùn)練的合并后的信道核，同時(shí)保持與所述推斷層的所有密集信道對(duì)應(yīng)的所述原始信道核固定。

5.根據(jù)權(quán)利要求4所述的方法，還包括：

將所述推斷層的所述多個(gè)信道生成為包括所述推斷層的所有密集信道和所述合并后的稀疏信道；

確定所述重新訓(xùn)練的合并后的信道核的信道稀疏度度量；以及

將與所述合并后的稀疏信道相對(duì)應(yīng)的所述重新訓(xùn)練的合并后的信道核的所述信道稀疏度度量以及與所述推斷層的所有密集信道相對(duì)應(yīng)的所述原始信道核的所述信道稀疏度度量存儲(chǔ)到所述元數(shù)據(jù)中。

6.根據(jù)權(quán)利要求5所述的方法，其中，將與所述多個(gè)信道中的所述一個(gè)信道相對(duì)應(yīng)的所述信道核的所述信道稀疏度度量與稀疏推斷閾值進(jìn)行比較包括：

將對(duì)應(yīng)于所述合并后的稀疏信道的所述重新訓(xùn)練的合并后的信道核的所述信道稀疏度度量與所述稀疏推斷閾值進(jìn)行比較。

7.根據(jù)權(quán)利要求5所述的方法，還包括：

將與所述推斷層的所述密集信道中的一個(gè)信道相對(duì)應(yīng)的所述原始信道核的所述信道稀疏度度量與所述稀疏推斷閾值進(jìn)行比較；以及

響應(yīng)于確定與所述密集信道的所述一個(gè)信道相對(duì)應(yīng)的所述原始信道核的所述信道稀疏度度量大于所述稀疏推斷閾值，控制所述推斷層的所述密集信道的所述一個(gè)信道的推斷操作。

8.根據(jù)權(quán)利要求5所述的方法，其中，根據(jù)所述多個(gè)原始信道核的信道稀疏度度量對(duì)所述推斷層的所述多個(gè)原始信道核進(jìn)行排序，以確定所述推斷層的對(duì)應(yīng)的所述原始信道是密集信道還是稀疏信道包括：

重新排列所述推斷層的所述多個(gè)原始信道，以將所有密集信道和所有稀疏信道分別進(jìn)行分組。

9.根據(jù)權(quán)利要求5所述的方法，其中，將所述推斷層的所有稀疏信道合并為合并后的稀疏信道，以生成合并后的信道核包括：

將與所述推斷層的所有稀疏信道相對(duì)應(yīng)的所述多個(gè)原始信道核進(jìn)行合并，以生成所述合并后的信道核。