[發明專利]一種視角無關的視頻三維人體姿態識別方法

有效

• 申請號: 202010010324.9
• 申請日: 2020-01-06
• 公開（公告）號: CN111222459B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 邱豐;馬利莊
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06N3/0464;G06N3/08;G06V20/40;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

1.一種視角無關的視頻三維人體姿態識別方法，其特征在于，該識別方法包括：

步驟1：虛擬數據生成階段：基于任意包含三維標注的人體姿態數據集，合成虛擬相機參數后生成二維/三維數據元組；

步驟2：模型訓練階段：利用生成的二維/三維數據元組分別訓練用于獲得具有相機視角泛化能力的模型的模塊化神經網絡第一模塊和用于獲得能夠保護幀間動作連續性的模型的模塊化神經網絡第二模塊；

步驟3：無約束視頻推理階段：對于任意無約束采集得到的視頻，通過利用步驟2訓練得到的多模塊深度神經網絡預測得到三維人體姿態識別結果。

2.根據權利要求1所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的步驟1具體包括：對于任意包含三維標注的人體姿態數據集，采用相機視角增強模塊合成虛擬相機參數，并利用投影關系生成二維/三維數據元組。

3.根據權利要求2所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的相機參數包括決定相機位置和朝向的外參和決定相機投影焦距畫幅的內參。

4.根據權利要求1所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的步驟2中的第一模塊使用單幀數據元組進行視角增強的訓練。

5.根據權利要求1所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的步驟2中的第二模塊使用連續序列的數據元組進行時序模型訓練。

6.根據權利要求1所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的步驟2與步驟3中，在輸入神經網絡前，還包括對二維檢測結果進行相機無關的二維檢測歸一化預處理過程，其對應描述公式為：

式中，K_x,y表示二維檢測歸一化預處理后的二維點坐標，表示原二維點坐標，表示二維檢測框的中心坐標，w^d,h^d分別為二維檢測框的寬度和高度。

7.根據權利要求1所述的一種視角無關的視頻三維人體姿態識別方法，其特征在于，所述的步驟3中的無約束采集得到的視頻具體包括自然條件采集，或經過縮放、裁剪、變速、和其他顏色調整變換的視頻序列。