[發明專利]目標處理方法、目標處理模型的訓練方法及其裝置

有效

• 申請號: 202110556714.0
• 申請日: 2021-05-21
• 公開（公告）號: CN113361519B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 張偉;譚嘯;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/26;G06V10/44
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

本申請提出了目標處理方法、目標處理模型的訓練方法及其裝置，涉及人工智能技術領域，具體涉及計算機視覺、深度學習技術領域，可應用于智能交通場景下。具體實現方案為：獲取當前圖像幀以及參考實例分割圖；根據當前圖像幀和參考實例分割圖，生成當前圖像幀對應的特征圖；根據特征圖，生成當前圖像幀對應的實例中心圖、以及至少一種處理方式的偏移圖；根據實例中心圖以及至少一種處理方式的偏移圖，生成當前圖像幀在至少一種處理方式下的目標處理結果。由此，實現了目標的實時處理，并生成了至少一種處理方式下的目標處理結果，提升了目標處理效果。

技術領域

本申請涉及人工智能技術領域，具體涉及計算機視覺、深度學習技術領域，可應用于智能交通場景下，尤其涉及目標處理方法、目標處理模型的訓練方法及其裝置。

背景技術

目前，對目標進行處理(比如，目標跟蹤)是計算機視覺領域中重要的研究方向和應用方法。目標處理是在給定視頻中同時可對多個感興趣的目標進行定位，維持對應ID、以及記錄對應軌跡等。目前，目標處理技術已經廣泛運用于生活以及軍事等多個方面。

相關技術中，通過簡單預測前后圖像幀間實例之間的像素偏移，即可完成目標處理，但是，上述目標處理方法無法達到目標實時處理，并且處理方式單一，目標處理效果較差。

發明內容

本申請提供了一種用于目標處理方法、目標處理模型的訓練方法及其裝置。

根據本申請的一方面，提供了一種目標處理方法，包括：獲取當前圖像幀以及參考實例分割圖；根據所述當前圖像幀和所述參考實例分割圖，生成所述當前圖像幀對應的特征圖；根據所述特征圖，生成所述當前圖像幀對應的實例中心圖、以及至少一種處理方式的偏移圖；根據所述實例中心圖以及所述至少一種處理方式的偏移圖，生成所述當前圖像幀在所述至少一種處理方式下的目標處理結果。

根據本申請的另一方面，提供了一種目標處理模型的訓練方法，包括：獲取初始的目標處理模型，其中，所述目標處理模型包括：用于對當前圖像幀以及參考實例分割圖進行編碼生成特征圖的編碼模塊、用于對特征圖進行解碼生成實例中心圖的語義解碼模塊、用于對特征圖進行解碼生成偏移圖并結合所述實例中心圖生成目標處理結果的偏移解碼模塊；獲取訓練數據，其中，所述訓練數據包括：樣本圖像幀、樣本參考實例分割圖以及樣本目標處理結果；以所述樣本圖像幀和所述樣本參考實例分割圖為輸入數據，結合所述目標處理模型輸出的預測目標處理結果以及所述樣本目標處理結果構建損失函數，對所述初始的目標處理模型進行訓練。

根據本申請的另一方面，提供了一種目標處理裝置，包括：獲取模塊，用于獲取當前圖像幀以及參考實例分割圖；第一生成模塊，用于根據所述當前圖像幀和所述參考實例分割圖，生成所述當前圖像幀對應的特征圖；第二生成模塊，用于根據所述特征圖，生成所述當前圖像幀對應的實例中心圖、以及至少一種處理方式的偏移圖；第三生成模塊，用于根據所述實例中心圖以及所述至少一種處理方式的偏移圖，生成所述當前圖像幀在所述至少一種處理方式下的目標處理結果。

根據本申請的另一方面，提供了一種目標處理模型的訓練裝置，包括：第一獲取模塊，用于獲取初始的目標處理模型，其中，所述目標處理模型包括：用于對當前圖像幀以及參考實例分割圖進行編碼生成特征圖的編碼模塊、用于對特征圖進行解碼生成實例中心圖的語義解碼模塊、用于對特征圖進行解碼生成偏移圖并結合所述實例中心圖生成目標處理結果的偏移解碼模塊；第二獲取模塊，用于獲取訓練數據，其中，所述訓練數據包括：樣本圖像幀、樣本參考實例分割圖以及樣本目標處理結果；訓練模塊，用于以所述樣本圖像幀和所述樣本參考實例分割圖為輸入數據，結合所述目標處理模型輸出的預測目標處理結果以及所述樣本目標處理結果構建損失函數，對所述初始的目標處理模型進行訓練。

根據本申請的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述所述的目標處理方法，或者，執行上述所述的目標處理模型的訓練方法。