[發(fā)明專利]模型訓(xùn)練及目標(biāo)跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110648666.8
• 申請日: 2021-06-10
• 公開（公告）號: CN113393494A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 喬磊;李搏
• 申請（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00;G06K9/62;G06Q50/20
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取不同目標(biāo)跟蹤類別對應(yīng)的訓(xùn)練樣本集，得到至少兩個訓(xùn)練樣本集；

利用所述至少兩個訓(xùn)練樣本集中每個樣本集，分別對預(yù)設(shè)的教師模型進行目標(biāo)跟蹤訓(xùn)練，得到至少兩個預(yù)訓(xùn)練的教師模型；

利用預(yù)設(shè)訓(xùn)練樣本，結(jié)合所述至少兩個預(yù)訓(xùn)練的教師模型和知識蒸餾方式，對預(yù)設(shè)的學(xué)生模型進行目標(biāo)跟蹤訓(xùn)練，得到訓(xùn)練后的學(xué)生模型，所述訓(xùn)練后的學(xué)生模型用于進行目標(biāo)跟蹤處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用預(yù)設(shè)訓(xùn)練樣本，結(jié)合所述至少兩個預(yù)訓(xùn)練的教師模型和知識蒸餾方式，對預(yù)設(shè)的學(xué)生模型進行目標(biāo)跟蹤訓(xùn)練，得到訓(xùn)練后的學(xué)生模型，包括：

利用所述至少兩個預(yù)訓(xùn)練的教師模型和所述預(yù)設(shè)訓(xùn)練樣本，確定至少兩個教師特征圖，并利用所述預(yù)設(shè)的學(xué)生模型和所述預(yù)設(shè)訓(xùn)練樣本，確定學(xué)生特征圖；

計算所述學(xué)生特征圖和所述至少兩個教師特征圖之間的損失信息，得到第一損失函數(shù)；

計算所述學(xué)生特征圖和所述預(yù)設(shè)訓(xùn)練樣本對應(yīng)的標(biāo)準(zhǔn)特征圖之間的損失信息，得到第二損失函數(shù)；

基于所述第一損失函數(shù)和所述第二損失函數(shù)，對所述預(yù)設(shè)的學(xué)生模型進行調(diào)整，得到所述訓(xùn)練后的學(xué)生模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)訓(xùn)練樣本包括：預(yù)設(shè)模板圖像和預(yù)設(shè)跟蹤圖像，所述利用所述至少兩個預(yù)訓(xùn)練的教師模型和所述預(yù)設(shè)訓(xùn)練樣本，確定至少兩個教師特征圖，并利用所述預(yù)設(shè)的學(xué)生模型和所述預(yù)設(shè)訓(xùn)練樣本，確定學(xué)生特征圖，包括：

利用所述至少兩個預(yù)訓(xùn)練的教師模型中每個模型，分別根據(jù)所述預(yù)設(shè)跟蹤圖像和所述預(yù)設(shè)模板圖像進行目標(biāo)跟蹤處理，得到所述至少兩個教師特征圖；

利用所述預(yù)設(shè)的學(xué)生模型，根據(jù)所述預(yù)設(shè)跟蹤圖像和所述預(yù)設(shè)模板圖像進行目標(biāo)跟蹤處理，得到所述學(xué)生特征圖。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述計算所述學(xué)生特征圖和所述至少兩個教師特征圖之間的損失信息，得到第一損失函數(shù)，包括：

對所述至少兩個教師特征圖進行加權(quán)求和，得到第一教師特征圖；

將所述第一教師特征圖調(diào)整至與所述學(xué)生特征圖尺寸相同的特征圖，得到第二教師特征圖；

計算所述學(xué)生特征圖與所述第二教師特征圖之間的損失信息，得到所述第一損失函數(shù)。

5.根據(jù)權(quán)利要求2至4任一項所述的方法，其特征在于，所述計算所述學(xué)生特征圖和所述預(yù)設(shè)訓(xùn)練樣本對應(yīng)的標(biāo)準(zhǔn)特征圖之間的損失信息，得到第二損失函數(shù)，包括：

計算所述學(xué)生特征圖和所述標(biāo)準(zhǔn)特征圖之間的分類損失函數(shù)；

計算所述學(xué)生特征圖和所述標(biāo)準(zhǔn)特征圖之間的回歸損失函數(shù)；

基于所述分類損失函數(shù)和所述回歸損失函數(shù)，確定所述第二損失函數(shù)。

6.根據(jù)權(quán)利要求2至5任一項所述的方法，其特征在于，所述基于所述第一損失函數(shù)和所述第二損失函數(shù)，對所述預(yù)設(shè)的學(xué)生模型進行調(diào)整，得到所述訓(xùn)練后的學(xué)生模型，包括：

對所述第一損失函數(shù)和所述第二損失函數(shù)進行加權(quán)求和，得到目標(biāo)損失函數(shù)；

基于所述目標(biāo)損失函數(shù)對所述預(yù)設(shè)的學(xué)生模型進行調(diào)整，得到所述訓(xùn)練后的學(xué)生模型。

7.一種目標(biāo)跟蹤方法，其特征在于，包括：

獲取目標(biāo)跟蹤圖像和目標(biāo)模板圖像；

利用訓(xùn)練后的學(xué)生模型，根據(jù)所述目標(biāo)跟蹤圖像和所述目標(biāo)模板圖像進行目標(biāo)跟蹤處理，得到目標(biāo)跟蹤結(jié)果；其中，所述訓(xùn)練后的學(xué)生模型是通過權(quán)利要求1-6任一項所述的方法訓(xùn)練得到的。

8.一種模型訓(xùn)練裝置，其特征在于，包括：

樣本獲取模塊，用于獲取不同目標(biāo)跟蹤類別對應(yīng)的訓(xùn)練樣本集，得到至少兩個訓(xùn)練樣本集；

模型訓(xùn)練模塊，用于利用所述至少兩個訓(xùn)練樣本集中每個樣本集，分別對預(yù)設(shè)的教師模型進行目標(biāo)跟蹤訓(xùn)練，得到至少兩個預(yù)訓(xùn)練的教師模型；利用預(yù)設(shè)訓(xùn)練樣本，結(jié)合所述至少兩個預(yù)訓(xùn)練的教師模型和知識蒸餾方式，對預(yù)設(shè)的學(xué)生模型進行目標(biāo)跟蹤訓(xùn)練，得到訓(xùn)練后的學(xué)生模型，所述訓(xùn)練后的學(xué)生模型用于進行目標(biāo)跟蹤處理。