[發明專利]一種多任務模型的訓練方法、裝置及存儲介質

有效

• 申請號: 202010744149.6
• 申請日: 2020-07-29
• 公開（公告）號: CN111931929B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 謝粵超
• 申請（專利權）人: 深圳地平線機器人科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 張洋

本申請公開了一種多任務模型的訓練方法、裝置及計算機存儲介質，利用第一訓練圖像集對骨干網絡進行訓練，以得到經訓練的骨干網絡；根據預設類別任務的關聯性進行分支網絡的整合，得到多分支網絡；利用已訓練的所述骨干網絡對第二訓練圖像集進行處理，以得到所述第二訓練圖像集中每一樣本圖像對應的特征圖；利用所述每一樣本圖像對應的特征圖對所述多分支網絡進行訓練。如此，本申請在通過經訓練的骨干網絡對對訓練圖像集中每一個樣本圖像進行特征提取的基礎上，利用分支網絡的關聯性整合，將合適的任務類別的分支網絡放到同一個分支中，從而在同等算力的情況下，有效提升多任務模型的感知性能。

技術領域

本申請涉及人工神經網絡技術領域，尤其涉及一種多任務模型的訓練方法、裝置及計算機存儲介質。

背景技術

在高級駕駛輔助系統(“Advanced?Driver?Assistance?System，ADAS)中，一個非常的矛盾是有限的計算資源以及日益增長的視覺感知任務。受限于有限的算力，在主板上運行多種感知任務，一方面會使得每個感知任務的精度下降，另一方面會降低感知系統的實時性。

目前，普遍的解決方案是使用多任務模型(網絡)進行訓練和部署：通過一個骨干網絡表達若干個任務共有的特征，然后針對各個任務的特點，在骨干網絡的末端接上對應的分支網絡，用于產生相應任務的感知輸出。

發明內容

上述解決方案存在當各個任務所需的圖像特征存在互斥的情況時，通過一個骨干網絡提取多個任務所需的特征會使得各個任務的感知性能大幅度下降的問題；同時，感知系統容易受到多任務網絡分支配置的影響。

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種多任務模型的訓練方法、裝置及計算機存儲介質。

根據本申請的第一方面，提供了一種多任務模型的訓練方法，包括：利用第一訓練圖像集對骨干網絡進行訓練，以得到經訓練的骨干網絡；根據預設類別任務的關聯性進行分支網絡的整合，得到多分支網絡，所述多分支網絡中每一個分支網絡分別對應不同的關聯任務；利用已訓練的所述骨干網絡對第二訓練圖像集進行處理，以得到所述第二訓練圖像集中每一樣本圖像對應的特征圖；利用所述每一樣本圖像對應的特征圖對所述多分支網絡進行訓練。

根據本申請的第二方面，還提供了一種多任務模型的訓練裝置，包括：骨干網絡單元，用于利用第一訓練圖像集對骨干網絡進行訓練，以得到經訓練的骨干網絡；整合單元，用于根據預設類別任務間的關聯性進行分支網絡的整合，得到多分支網絡，所述多分支網絡中每一個分支網絡分別對應不同的關聯任務；所述骨干網絡單元，還用于利用已訓練的所述骨干網絡對第二訓練圖像集進行處理，以得到所述第二訓練圖像集中每一個樣本圖像對應的特征圖；多分支網絡單元，用于利用所述每一個樣本圖像對應特征圖對所述多分支網絡進行訓練。

根據本申請的第三方面，還提供了一種多任務模型的訓練裝置，包括：一個或多個處理器；存儲器，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現上述多任務模型的訓練方法。

根據本申請的第四方面，又提供了一種計算機存儲介質，所述存儲介質包括一組計算機可執行指令，當所述指令被執行時用于執行上述多任務模型的訓練方法。

本申請實施例多任務模型的訓練方法、裝置及計算機存儲介質，首先利用第一訓練圖像集對骨干網絡進行訓練，以得到經訓練的骨干網絡；接著根據預設類別任務的關聯性進行分支網絡的整合，得到多分支網絡；再利用已訓練的所述骨干網絡對第二訓練圖像集進行處理，以得到所述第二訓練圖像集中每一樣本圖像對應的特征圖；最后利用所述每一樣本圖像對應的特征圖對所述多分支網絡進行訓練。如此，本申請在通過經訓練的骨干網絡對對訓練圖像集中每一個樣本圖像進行特征提取的基礎上，利用分支網絡的關聯性整合，將合適的任務類別的分支網絡放到同一個分支中，從而在同等算力的情況下，有效提升多任務模型的感知性能。

附圖說明