[發(fā)明專(zhuān)利]模型壓縮方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011247207.0
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112529189A
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 王桂彬;董昊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06N5/04
• 分類(lèi)號(hào): G06N5/04;G06N3/063;G06F17/16
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 谷春靜

1.一種模型壓縮方法，包括：

當(dāng)模型推理過(guò)程中需要進(jìn)行單精度浮點(diǎn)的矩陣運(yùn)算時(shí)，對(duì)相乘的兩個(gè)矩陣中的左矩陣按行進(jìn)行量化，得到第一量化矩陣，對(duì)相乘的兩個(gè)矩陣中的右矩陣按列進(jìn)行量化，得到第二量化矩陣；

將所述第一量化矩陣和所述第二量化矩陣相乘，得到作為定點(diǎn)運(yùn)算結(jié)果的第三矩陣；

根據(jù)所述第三矩陣進(jìn)行反量化，得到第四矩陣，將所述第四矩陣作為所述矩陣運(yùn)算的結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，

所述對(duì)相乘的兩個(gè)矩陣中的左矩陣按行進(jìn)行量化包括：分別確定出所述左矩陣中的每行元素對(duì)應(yīng)的基準(zhǔn)值；針對(duì)所述左矩陣中的每個(gè)元素，分別根據(jù)所述元素所在行對(duì)應(yīng)的基準(zhǔn)值及預(yù)定的位寬確定出所述元素的量化值；

所述對(duì)相乘的兩個(gè)矩陣中的右矩陣按列進(jìn)行量化包括：分別確定出所述右矩陣中的每列元素對(duì)應(yīng)的基準(zhǔn)值；針對(duì)所述右矩陣中的每個(gè)元素，分別根據(jù)所述元素所在列對(duì)應(yīng)的基準(zhǔn)值及預(yù)定的位寬確定出所述元素的量化值。

3.根據(jù)權(quán)利要求2所述的方法，其中，

所述分別確定出所述左矩陣中的每行元素對(duì)應(yīng)的基準(zhǔn)值包括：針對(duì)所述左矩陣中的每行元素，分別將其中包括的各元素的取值的絕對(duì)值中的最大值作為所述基準(zhǔn)值；

所述分別確定出所述右矩陣中的每行元素對(duì)應(yīng)的基準(zhǔn)值包括：針對(duì)所述右矩陣中的每列元素，分別將其中包括的各元素的取值的絕對(duì)值中的最大值作為所述基準(zhǔn)值。

4.根據(jù)權(quán)利要求2所述的方法，其中，

所述針對(duì)所述左矩陣中的每個(gè)元素，分別根據(jù)所述元素所在行對(duì)應(yīng)的基準(zhǔn)值及預(yù)定的位寬確定出所述元素的量化值包括：計(jì)算所述元素的取值與所述元素所在行對(duì)應(yīng)的基準(zhǔn)值的商，并計(jì)算所述商與2^B-1的乘積，B表示所述位寬，將所述乘積作為所述元素的量化值；

所述針對(duì)所述右矩陣中的每個(gè)元素，分別根據(jù)所述元素所在列對(duì)應(yīng)的基準(zhǔn)值及預(yù)定的位寬確定出所述元素的量化值包括：計(jì)算所述元素的取值與所述元素所在列對(duì)應(yīng)的基準(zhǔn)值的商，并計(jì)算所述商與所述2^B-1的乘積，將所述乘積作為所述元素的量化值。

5.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述第三矩陣進(jìn)行反量化，得到第四矩陣包括：

針對(duì)所述第四矩陣中的每個(gè)元素，分別進(jìn)行以下處理：計(jì)算所述元素在所述第三矩陣中的對(duì)應(yīng)元素的取值、所述元素所在行對(duì)應(yīng)的基準(zhǔn)值以及所述元素所在列對(duì)應(yīng)的基準(zhǔn)值的乘積，將所述乘積作為所述元素的取值，所述對(duì)應(yīng)元素為處于相同位置的元素。

6.根據(jù)權(quán)利要求1所述的方法，還包括：

按照單精度訓(xùn)練方式訓(xùn)練得到單精度模型，作為初始模型；

對(duì)所述初始模型的模型參數(shù)進(jìn)行量化精調(diào)訓(xùn)練，得到最終的模型。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述左矩陣為權(quán)重矩陣；

所述對(duì)所述初始模型的模型參數(shù)進(jìn)行量化精調(diào)訓(xùn)練包括：

針對(duì)所述模型參數(shù)，執(zhí)行以下第一處理：

對(duì)所述模型參數(shù)中的所述權(quán)重矩陣按行進(jìn)行量化，并對(duì)量化結(jié)果進(jìn)行反量化，得到處理后的模型參數(shù)；

根據(jù)所述處理后的模型參數(shù)進(jìn)行前向計(jì)算和反向計(jì)算，得到模型參數(shù)梯度；

根據(jù)所述模型參數(shù)梯度更新所述模型參數(shù)，并針對(duì)更新后的模型參數(shù)，重復(fù)執(zhí)行所述第一處理，直到符合預(yù)定結(jié)束條件。

8.一種模型壓縮裝置，包括：量化模塊、運(yùn)算模塊以及反量化模塊；

所述量化模塊，用于當(dāng)模型推理過(guò)程中需要進(jìn)行單精度浮點(diǎn)的矩陣運(yùn)算時(shí)，對(duì)相乘的兩個(gè)矩陣中的左矩陣按行進(jìn)行量化，得到第一量化矩陣，對(duì)相乘的兩個(gè)矩陣中的右矩陣按列進(jìn)行量化，得到第二量化矩陣；

所述運(yùn)算模塊，用于將所述第一量化矩陣和所述第二量化矩陣相乘，得到作為定點(diǎn)運(yùn)算結(jié)果的第三矩陣；

所述反量化模塊，用于根據(jù)所述第三矩陣進(jìn)行反量化，得到第四矩陣，將所述第四矩陣作為所述矩陣運(yùn)算的結(jié)果。