[發明專利]視覺模型降秩方法、裝置、設備、存儲介質以及程序產品

在審

• 申請號: 202111294479.0
• 申請日: 2021-11-03
• 公開（公告）號: CN114021645A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 李建偉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/771
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種視覺模型降秩方法，包括：

將視覺模型的輸入標記輸入至所述視覺模型，其中，所述視覺模型的輸入標記的標記數目為N，標記維數為C；

獲取所述視覺模型的第i層的輸出標記，其中，i為正整數，所述視覺模型的第i層的輸出標記的標記數目為N，標記維數為C；

使用可學習權重對所述視覺模型的第i層的輸出標記進行降秩，生成所述視覺模型的第i層的降秩標記，其中，所述可學習權重的行數為n，列數為N，所述視覺模型的第i層的降秩標記的標記數目為n，標記維數為N，且nN；

將所述視覺模型的第i層的降秩標記輸入至所述視覺模型的第i+1層進行變換，生成所述視覺模型的第i+1層的輸出標記，其中，所述視覺模型的第i+1層的輸出標記的標記數目為n，標記維數為N。

2.根據權利要求1所述的方法，其中，所述方法還包括：

將圖像劃分成的N個圖像塊；

基于所述N個圖像塊，生成所述視覺模型的輸入標記，其中，圖像塊與標記一一對應。

3.根據權利要求2所述的方法，其中，所述基于所述N個圖像塊，生成所述視覺模型的輸入標記，包括：

對所述N個圖像塊分別進行線性映射或整平操作，生成所述視覺模型的輸入標記。

4.根據權利要求2或3所述的方法，其中，所述視覺模型是學生模型；以及

所述方法還包括：

將所述學生模型的輸入標記輸入至預先訓練的教師模型，獲取所述教師模型的第i+1層的輸出標記，其中，所述教師模型的第i+1層的輸出標記的標記數目為N，標記維數為C；

將所述教師模型的第i+1層的輸出標記與所述學生模型的第i+1層的輸出標記對齊，生成所述教師模型的第i+1層的對齊標記，其中，所述教師模型的第i+1層的對齊標記的標記數目為n，標記維數為C；

利用所述教師模型的第i+1層的對齊標記和所述學生模型的第i+1層的輸出標記，對所述學生模型進行知識蒸餾。

5.根據權利要求4所述的方法，其中，所述將所述教師模型的第i+1層的輸出標記與所述學生模型的第i+1層的輸出標記對齊，生成所述教師模型的第i+1層的對齊標記，包括：

對所述教師模型的第i+1層的輸出標記進行降秩，生成所述教師模型的第i+1層的對齊標記。

6.根據權利要求5所述的方法，其中，所述教師模型和所述學生模型均是多層堆疊模型，每一層包括標準化模塊、多頭自注意力MHA模塊和多層感知機MLP模塊。

7.根據權利要求6所述的方法，其中，所述對所述教師模型的第i+1層的輸出標記進行降秩，生成所述教師模型的第i+1層的對齊標記，包括：

獲取所述教師模型的第i+1層中的MHA模塊中間輸出的k個注意力圖，其中，k等于MHA的頭數目，所述注意力圖的行數和列數均為N；

對所述k個注意力圖進行求和，生成注意力向量，其中，所述注意力向量的維數為N；

按照數值大小對所述注意力向量的向量值進行排序，以及選取出前n-1個向量值；

對后N-n+1個向量值進行池化，生成全局標記，其中，所述全局標記具有所述后N-n+1個向量值的全局信息；

將所述前n-1個向量值與所述全局標記合并，生成所述教師模型的第i+1層的對齊標記。

8.根據權利要求7所述的方法，其中，所述對所述k個注意力圖進行求和，生成注意力向量，包括：

將所述k個注意力圖進行矩陣相加，生成矩陣；

對所述矩陣進行列相加，生成所述注意力向量。

9.根據權利要求7所述的方法，其中，所述對所述k個注意力圖進行求和，生成所述注意力向量，包括：

從所述k個注意力圖中選取出類標記對應的注意力圖；

對所述類標記對應的注意力圖進行列相加，生成所述注意力向量。