[發(fā)明專利]語義理解模型的剪枝方法、裝置、電子設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010592755.0
• 申請日: 2020-06-25
• 公開（公告）號: CN111553169B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計）人: 希滕;張剛;溫圣召
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/20
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

1.一種語義理解模型的剪枝方法，包括：

獲取第一語義理解模型；

在第一搜索空間中隨機(jī)采樣第一剪枝策略，其中，所述第一搜索空間包括至少兩個第一剪枝策略，每個所述第一剪枝策略包括所述語義理解模型中各個卷積層分別對應(yīng)的剪枝率，所述剪枝率為卷積層中待剪切的通道數(shù)量與現(xiàn)有通道數(shù)量的比例；

根據(jù)采樣得到的第一剪枝策略對所述第一語義理解模型進(jìn)行剪枝，得到第二語義理解模型；

根據(jù)所述第二語義理解模型的性能信息，更新所述第一語義理解模型的參數(shù)，返回所述在第一搜索空間中隨機(jī)采樣第一剪枝策略的步驟，直至達(dá)到預(yù)設(shè)的停止條件，得到待處理的第一語義理解模型；

獲取目標(biāo)剪枝策略；

根據(jù)所述目標(biāo)剪枝策略，對所述待處理的第一語義理解模型進(jìn)行剪枝，得到目標(biāo)模型；

所述根據(jù)采樣得到的第一剪枝策略，對所述第一語義理解模型進(jìn)行剪枝，包括：

根據(jù)采樣得到的第一剪枝策略中的每個剪枝率，確定所述剪枝率對應(yīng)的卷積層中待剪切的通道數(shù)量K；其中，K為大于或等于0的整數(shù)；

剪切所述卷積層中權(quán)重最低的K個通道。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述獲取目標(biāo)剪枝策略，包括：

利用編碼生成器在第二搜索空間中采樣第二剪枝策略，其中，所述第二搜索空間中包括至少兩個第二剪枝策略；

根據(jù)采樣得到的第二剪枝策略，對所述待處理的第一語義理解模型進(jìn)行剪枝，得到第三語義理解模型；

確定所述第三語義理解模型的性能信息；

根據(jù)所述性能信息更新所述編碼生成器，返回所述利用編碼生成器在第二搜索空間中采樣第二剪枝策略的步驟，直至采樣第二剪枝策略的次數(shù)達(dá)到第一閾值N；其中，N為大于或等于2的整數(shù)；

將第N次采樣得到的第二剪枝策略確定為目標(biāo)剪枝策略。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述第二搜索空間中的每個第二剪枝策略包括與所述第一語義理解模型中的各個卷積層分別對應(yīng)的剪枝率；

所述根據(jù)采樣得到的第二剪枝策略，對所述待處理的第一語義理解模型進(jìn)行剪枝，得到第三語義理解模型，包括：

根據(jù)采樣得到的第二剪枝策略中的每個剪枝率，對所述剪枝率對應(yīng)的卷積層進(jìn)行剪枝。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)采樣得到的第二剪枝策略中的每個剪枝率，對所述剪枝率對應(yīng)的卷積層進(jìn)行剪枝，包括：

根據(jù)采樣得到的第二剪枝策略中的每個剪枝率，確定所述剪枝率對應(yīng)的卷積層中待剪切的通道數(shù)量M；其中，M為大于或等于0的整數(shù)；

剪切所述卷積層中權(quán)重最低的M個通道。

5.根據(jù)權(quán)利要求2至4中任一項所述的方法，其中，在首次利用編碼生成器在第二搜索空間中采樣第二剪枝策略之前，還包括：

根據(jù)所述第二搜索空間，初始化所述編碼生成器，以使所述編碼生成器能夠生成與所述第二搜索空間中的第二剪枝策略對應(yīng)的采樣編碼。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述利用編碼生成器在第二搜索空間中采樣第二剪枝策略，包括：

利用編碼生成器，生成采樣編碼；

對所述采樣編碼進(jìn)行解碼，得到所述采樣編碼對應(yīng)的第二剪枝策略。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)設(shè)的停止條件為采樣第一剪枝策略的次數(shù)達(dá)到第二閾值。

8.根據(jù)權(quán)利要求1所述的方法，還包括：

獲取待識別文本；

根據(jù)所述目標(biāo)模型，得到所述待識別文本的識別結(jié)果。