[發明專利]網絡訓練、動作識別方法、裝置、設備及存儲介質

有效

• 申請號: 202010941108.6
• 申請日: 2020-09-09
• 公開（公告）號: CN112070027B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 徐飛翔;黃迎松;白琨
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/764;G06V10/762;G06K9/62;G06V10/82;G06N3/04
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

1.一種網絡訓練方法，其特征在于，包括：

利用人體骨骼點序列的第一序列數據集和所述第一序列數據集中每一第一序列數據對應的視角標簽，更新預訓練模型的模型參數，其中所述預訓練模型的模型參數包括第一特征參數和第二特征參數，所述第一特征參數為特征提取網絡的特征參數，所述第二特征參數為第一預測類別輸出層的特征參數；

基于更新后的預訓練模型的模型參數，初始化人體動作識別模型的模型參數；其中，所述預訓練模型和所述人體動作識別模型具有結構相同的特征提取網絡；

利用人體骨骼點序列的第二序列數據集和所述第二序列數據集中的每一第二序列數據對應的動作類別標簽，對所述人體動作識別模型的模型參數進行更新，得到訓練后的人體動作識別模型。

2.根據權利要求1所述的方法，其特征在于，在所述利用人體骨骼點序列的第一序列數據集和所述第一序列數據集中每一第一序列數據對應的視角標簽，更新預訓練模型的模型參數之前，所述方法還包括：

獲取利用多個不同視角的攝像頭采集的目標多媒體文件，所述目標多媒體文件包括當前場景的彩色圖像視頻、深度圖序列中的至少一項，其中，每一所述攝像頭具有唯一的編號；

對每一所述攝像頭采集的目標多媒體文件進行人體姿態估計，得到人體骨骼點序列的第一序列數據；

將所述攝像頭的編號確定為所述第一序列數據的視角標簽；

將每一所述第一序列數據和對應所述第一序列數據的視角標簽，加入第一序列數據集。

3.根據權利要求1所述的方法，其特征在于，在所述利用人體骨骼點序列的第一序列數據集和所述第一序列數據集中每一第一序列數據對應的視角標簽，更新預訓練模型的模型參數之前，所述方法還包括：

對所述第一序列數據集中的第一序列數據進行聚類，得到聚類結果；

針對所述聚類結果的每一聚類分組，將與聚類中心的距離超過特定距離閾值的第一序列數據確定為噪聲數據；

從所述第一序列數據集中將所述噪聲數據去除。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述預訓練模型包括特征提取網絡和第一預測類別輸出層，所述特征提取網絡采用時空圖卷積網絡，所述第一預測類別輸出層采用輸出數量為第一輸出數量的全連接層，其中，所述第一輸出數量為所述第一序列數據集中視角標簽的類別數。

5.根據權利要求4所述的方法，其特征在于，所述利用人體骨骼點序列的第一序列數據集和所述第一序列數據集中每一第一序列數據對應的視角標簽，更新預訓練模型的模型參數，包括：

利用所述特征提取網絡，基于初始化后的所述第一特征參數，對每一第一序列數據進行特征提取，得到對應第一序列數據的特征向量；

基于初始化后的所述第二特征參數，利用所述第一預測類別輸出層對所述每一第一序列數據的特征向量進行處理，得到對應第一序列數據的類別概率向量；

基于每一第一序列數據的類別概率向量及每一第一序列數據的視角標簽，采用交叉熵損失函數計算損失值；

當根據所述損失值確定所述交叉熵損失函數收斂時，將當前的第一特征參數確定為訓練后的第一特征參數，并將當前的第二特征參數確定為訓練后的第二特征參數。

6.根據權利要求5所述的方法，其特征在于，所述利用人體骨骼點序列的第一序列數據集和所述第一序列數據集中每一第一序列數據對應的視角標簽，更新預訓練模型的模型參數，還包括：

當根據所述損失值確定所述交叉熵損失函數未收斂時，基于所述交叉熵損失函數，采用指數下降的隨機梯度下降算法對所述第一特征參數和所述第二特征參數進行調整；

利用所述特征提取網絡，基于調整后的所述第一特征參數，對所述每一第一序列數據進行特征提取，得到對應第一序列數據的調整后的特征向量；

基于調整后的所述第二特征參數，利用所述第一預測類別輸出層對所述每一第一序列數據調整后的特征向量進行處理，得到對應第一序列數據的調整后的類別概率向量；

基于每一第一序列數據調整后的類別概率向量及每一第一序列數據的視角標簽，采用交叉熵損失函數計算調整后的損失值。