[發明專利]模型訓練方法及裝置、圖像識別方法及裝置、設備和介質

在審

• 申請號: 202111165084.0
• 申請日: 2021-09-30
• 公開（公告）號: CN113902007A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 諶強
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種模型訓練方法，所述方法包括以下步驟：

獲取樣本圖像；

采用識別模型中的編碼器對所述樣本圖像進行編碼，得到編碼特征；

將所述編碼特征輸入所述識別模型中的多層映射網絡，其中，相鄰兩層映射網絡中后一層映射網絡根據前一層映射網絡的模型參數進行模型參數更新，根據更新后的模型參數，對前一層映射網絡輸出的映射特征進行特征映射；

采用所述識別模型中的預測層，對所述多層映射網絡中最后一層映射網絡輸出的映射特征進行對象預測，以得到所述樣本圖像的預測標注信息；

根據所述預測標注信息和所述樣本圖像包括的實際標注信息之間的差異，對所述識別模型進行訓練，以使所述差異最小化。

2.根據權利要求1所述的方法，其中，所述將所述編碼特征輸入所述識別模型中的多層映射網絡，包括：

采用第一層映射網絡根據對應的模型參數，對所述編碼特征進行特征映射，得到第一層映射網絡輸出的映射特征；

將第一層映射網絡輸出的映射特征以及對應的模型參數傳遞至第二層映射網絡；

采用第二層映射網絡根據第一層映射網絡的模型參數進行模型參數更新，根據更新后的模型參數，對第一層映射網絡輸出的映射特征進行特征映射。

3.根據權利要求2所述的方法，其中，所述映射網絡包括注意力層和前饋網絡，所述采用第一層映射網絡根據對應的模型參數，對所述編碼特征進行特征映射，得到第一層映射網絡輸出的映射特征，包括：

采用第一層映射網絡的注意力層對所述編碼特征執行矩陣乘法運算，得到第一運算特征；

根據第一層映射網絡的前饋網絡對應的模型參數，對第一運算特征執行非線性運算，得到第一層映射網絡輸出的映射特征。

4.根據權利要求3所述的方法，其中，所述將第一層映射網絡輸出的映射特征以及對應的模型參數傳遞至第二層映射網絡，包括：

將所述第一層映射網絡的前饋網絡對應的模型參數與投影矩陣相乘，得到投影后的模型參數；

將所述投影后的模型參數與第一層映射網絡輸出的映射特征傳遞至第二層映射網絡。

5.根據權利要求4所述的方法，其中，所述采用第二層映射網絡根據第一層映射網絡的模型參數進行模型參數更新，根據更新后的模型參數，對第一層映射網絡輸出的映射特征進行特征映射，包括：

采用第二層映射網絡的注意力層對第一層映射網絡輸出的映射特征執行矩陣乘法運算，得到第二運算特征；

將第二層映射網絡的前饋網絡對應的模型參數與所述投影后的模型參數進行加權，得到更新后的模型參數；

采用更新后的模型參數，對所述第二運算特征執行非線性運算，得到第二層映射網絡輸出的映射特征。

6.根據權利要求1所述的方法，其中，所述采用識別模型中的編碼器對所述樣本圖像進行編碼，得到編碼特征，包括：

對所述樣本圖像進行特征提取，得到圖像特征；

將所述圖像特征進行分塊處理，以得到序列化的特征向量；

利用所述編碼器對所述序列化的特征向量進行編碼，以得到序列化的所述編碼特征。

7.根據權利要求6所述的方法，其中，所述最后一層映射網絡輸出的映射特征為序列化的特征向量，所述采用所述識別模型中的預測層，對所述多層映射網絡中最后一層映射網絡輸出的映射特征進行對象預測，以得到所述樣本圖像的預測標注信息，包括：

將所述最后一層映射網絡輸出的映射特征中的各特征向量求取均值，得到分類特征；

采用所述預測層對所述分類特征進行對象預測，以得到所述樣本圖像的預測標注信息。

8.一種圖像識別方法，所述方法包括：

獲取待檢測圖像；

采用識別模型對所述待檢測圖像進行對象預測，以得到所述待檢測圖像中各目標對象的標注信息；其中，所述識別模型是采用權利要求1-7中任一項所述的方法訓練得到的。