[發明專利]一種基于歷史記錄的動態標簽平滑加權損失方法及裝置

有效

• 申請號: 202010525632.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111784595B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 班曉娟;白廣棟;姜淑芳;馬博淵;王宇;楊星
• 申請（專利權）人: 北京科技大學;中國人民解放軍總醫院海南醫院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N20/00
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于歷史記錄的動態標簽平滑加權損失方法，其特征在于，包括：

S1，為每個圖像分別建立一個固定長度的歷史隊列，其中，歷史隊列中的初始值為相應圖像真實的標簽類別；

S2，在機器學習模型每次迭代訓練時，根據歷史隊列計算相應的圖像屬于真實類別和屬于其他類別的權重，并將得到的權重與交叉熵函數相結合計算損失，以優化所述機器學習模型；

S3，在每次迭代訓練完成后，利用所述機器學習模型預測到的每個圖像所屬的類別更新相應的歷史隊列并返回S2繼續迭代，直至訓練完成；

其中，所述在機器學習模型每次迭代訓練時，根據歷史隊列計算相應的圖像屬于真實類別和屬于其他類別的權重，并將得到的權重與交叉熵函數相結合計算損失，以優化所述機器學習模型包括：

根據第一圖像對應的歷史隊列，計算第一圖像屬于其他類別的權重w_i，其中，第一圖像為任一圖像；

根據得到權重w_i，計算第一圖像屬于真實類別的權重w_t；

將權重w_i、w_t與交叉熵函數相結合計算損失Loss，以優化所述機器學習模型；

其中，權重w_i表示為：

其中，L為第一圖像對應的歷史隊列的長度；num_i為第一圖像對應的歷史隊列中屬于類別i的個數，i取值范圍為[1...k]，k為類別總數，i不等于t，t為真實類別；α為超參數并滿足α＝b，以保證第一圖像屬于其他類別的整體權重不高于b；

其中，權重w_t表示為：

其中，損失Loss表示為：

其中，k為類別的總數；w_j為各個類別的權重，j取值范圍為[1...k]；p_j為在本次迭代過程中，機器學習模型預測到的第一圖像所屬的類別。

2.根據權利要求1所述的基于歷史記錄的動態標簽平滑加權損失方法，其特征在于，所述機器學習模型為人工神經網絡、卷積神經網絡中的一種或多種的組合。

3.根據權利要求1所述的基于歷史記錄的動態標簽平滑加權損失方法，其特征在于，所述利用所述機器學習模型預測到的每個圖像所屬的類別更新相應的歷史隊列包括：

根據所述機器學習模型預測到的每個圖像所屬的類別，按照先入先出的順序更新相應的歷史隊列，在更新過程中保持歷史隊列長度不變。

4.一種基于歷史記錄的動態標簽平滑加權損失裝置，其特征在于，包括：

建立單元，用于為每個圖像分別建立一個固定長度的歷史隊列，其中，歷史隊列中的初始值為相應圖像真實的標簽類別；

確定單元，用于在機器學習模型每次迭代訓練時，根據歷史隊列計算相應的圖像屬于真實類別和屬于其他類別的權重，并將得到的權重與交叉熵函數相結合計算損失，以優化所述機器學習模型；

更新單元，用于在每次迭代訓練完成后，利用所述機器學習模型預測到的每個圖像所屬的類別更新相應的歷史隊列并返回確定單元繼續迭代，直至訓練完成；

其中，所述確定單元，具體用于根據第一圖像對應的歷史隊列，計算第一圖像屬于其他類別的權重w_i，其中，第一圖像為任一圖像；根據得到權重w_i，計算第一圖像屬于真實類別的權重w_t；將權重w_i、w_t與交叉熵函數相結合計算損失Loss，以優化所述機器學習模型；其中，

權重w_i表示為：

其中，L為第一圖像對應的歷史隊列的長度；num_i為第一圖像對應的歷史隊列中屬于類別i的個數，i取值范圍為[1...k]，k為類別總數，i不等于t，t為真實類別；α為超參數并滿足α＝b，以保證第一圖像屬于其他類別的整體權重不高于b；

其中，權重w_t表示為：

其中，損失Loss表示為：

其中，k為類別的總數；w_j為各個類別的權重，j取值范圍為[1...k]；p_j為在本次迭代過程中，機器學習模型預測到的第一圖像所屬的類別。