[發明專利]多任務的行為識別模型訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202110572866.X
• 申請日: 2021-05-25
• 公開（公告）號: CN113344048A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 蘇婧;蘇海昇;王棟梁;甘偉豪
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

本申請實施例提供一種多任務的行為識別模型訓練方法、裝置、設備及存儲介質，其中，所述方法包括：獲取N個待識別任務的樣本數據集，其中，所述樣本數據集包括虛擬數據、攝像裝置的采集數據和互聯網的爬取數據至少之一，N為大于等于1的整數；利用所述N個待識別任務的樣本數據集訓練搭建的行為識別模型，得到多任務的行為識別模型，其中，所述搭建的行為識別模型包括第一主干網絡和N個第一分類網絡，所述多任務的行為識別模型包括多任務主干網絡和N個第二分類網絡，所述多任務主干網絡是通過訓練所述第一主干網絡而得到，所述N個第二分類網絡是與所述N個待識別任務一一對應的，通過訓練N個所述第一分類網絡得到。

技術領域

本申請實施例涉及行為識別領域，涉及但不限于一種多任務的行為識別模型訓練方法、裝置、設備及存儲介質。

背景技術

在多任務異常行為識別實際應用中，在不同任務之間域差異大的情況下，多任務并行學習，結果相互抑制，使得多任務學習的準確性有限。訓練多任務異常行為識別模型對于訓練任務集中數據量的需求極大，任務之間需要足夠的數據量支持，且類間數據量需要平衡，不然無法訓練出一個魯棒的判別器，目前的異常任務數據集獲取方式有限，數量無法滿足訓練要求。

發明內容

有鑒于此，本申請實施例提供一種多任務的行為識別模型訓練方法、裝置、設備及存儲介質。

本申請實施例的技術方案是這樣實現的：

第一方面，本申請實施例提供一種多任務的行為識別模型訓練方法，包括：獲取N個待識別任務的樣本數據集，其中，所述樣本數據集包括虛擬數據、攝像裝置的采集數據和互聯網的爬取數據至少之一，N為大于等于1的整數；利用所述N個待識別任務的樣本數據集訓練搭建的行為識別模型，得到多任務的行為識別模型，其中，所述搭建的行為識別模型包括第一主干網絡和N個第一分類網絡，所述多任務的行為識別模型包括多任務主干網絡和N個第二分類網絡，所述多任務主干網絡是通過訓練所述第一主干網絡而得到，所述N個第二分類網絡是與所述N個待識別任務一一對應的，通過訓練N個所述第一分類網絡得到。

在一些實施例中，所述搭建的行為識別模型是采用如下方法得到的：獲取所述第一主干網絡，其中所述第一主干網絡是通過預設數據集訓練得到的主干網絡；在所述第一主干網絡的基礎上增加所述N個第一分類網絡，得到所述搭建的行為識別模型。

這樣，首先獲取通過預設數據集訓練得到的第一主干網絡，然后在所述第一主干網絡的基礎上增加所述N個第一分類網絡，得到所述搭建的行為識別模型。這樣，以一個主干網絡與多個分類網絡組和得到的行為識別模型，可以使用樣本數據集進行訓練，以得到可以進行多任務識別的行為識別模型。這樣模型架構可以實現單個模型上進行多個任務，大大減少了增加識別任務帶來的顯存消耗。

在一些實施例中，所述利用所述N個待識別任務的樣本數據集訓練搭建的行為識別模型，得到多任務的行為識別模型，包括：利用所述N個待識別任務的樣本數據集訓練所述搭建的行為識別模型中的第一主干網絡，得到所述多任務主干網絡；利用所述N個待識別任務的樣本數據集訓練第一行為識別模型，得到所述多任務的行為識別模型，其中，所述第一行為識別模型包括所述多任務主干網絡和所述N個第一分類網絡。

這樣，先訓練固定主干網絡，在分別訓練不同待識別任務對應的分類網絡，可以得到適用于多任務的行為識別模型。

在一些實施例中，所述利用所述N個待識別任務的樣本數據集訓練所述搭建的行為識別模型中的第一主干網絡，得到所述多任務主干網絡，包括：利用所述N個待識別任務中的每一待識別任務的樣本數據集，分別訓練N個第一教師模型，得到與所述N個待識別任務一一對應的N個第二教師模型，其中，每一所述第一教師模型包括所述第一主干網絡、一個第一分類網絡、變分自編碼器和判別器；利用N個所述第二教師模型訓練所述第一主干網絡，得到所述多任務主干網絡。