[發明專利]一種邊緣計算架構下的多視角人行為識別方法與系統

有效

• 申請號: 202110891098.4
• 申請日: 2021-08-04
• 公開（公告）號: CN113743221B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王雪;游偉
• 申請（專利權）人: 清華大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 茍冬梅

1.一種邊緣計算架構下的多視角人行為識別方法，其特征在于，所述方法包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的待識別人行為視頻數據，并將所述不同視角的待識別人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點采集并保存相同時段內不同視角的待識別人行為視頻數據，對所述相同時段內不同視角的待識別人行為視頻數據進行數據預處理，將預處理后的數據輸入到人行為特征編碼器，得到多視角人行為特征向量，并傳輸至云端服務器；

所述云端服務器接收所述邊緣計算節點上傳的多視角人行為特征向量，并將所述人行為特征向量輸入到人行為識別模型，得到所述不同視角的待識別人行為視頻數據的人行為識別結果；

所述待識別人行為視頻數據進行數據預處理，包括：

根據所述不同視角的人行為視頻數據，確定不同視角的人行為視頻數據的骨架數據；

對所述不同視角的人行為視頻數據的骨架數據進行預處理，得到不同視角的人行為視頻數據的骨架序列；

對所述不同視角的人行為視頻數據的骨架序列進行融合，得到融合骨架片段序列；

將預處理后得到的融合骨架片段序列按照多種排序方式重新排序，并標記排序方式標簽；

基于預處理后不同視角的第一樣本人行為視頻數據，對預設人行為自監督特征學習模型進行訓練，包括：

將重新排序后的融合骨架片段序列及其排序方式標簽，輸入到人行為自監督特征學習模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的第一樣本人行為視頻數據，并將所述不同視角的第一樣本人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點采集并保存相同時段內不同視角的第一樣本人行為視頻數據，對所述相同時段內不同視角的第一樣本人行為視頻數據進行數據預處理，并基于預處理后不同視角的第一樣本人行為視頻數據，對預設人行為自監督特征學習模型進行訓練，得到所述人行為特征編碼器。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的第二樣本人行為視頻數據，并將所述不同視角的第二樣本人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點上傳預設數量的不同視角的第二樣本人行為視頻數據，采集并保存相同時段內不同視角的第二樣本人行為視頻數據，對所述相同時段內不同視角的第二樣本人行為視頻數據進行數據預處理，將預處理后的數據輸入到人行為特征編碼器，得到多視角人行為特征向量，并傳輸至云端服務器；

所述云端服務器接收所述邊緣計算節點上傳的多視角人行為特征向量和預設數量的不同視角的第二樣本人行為視頻數據，根據所述預設數量的不同視角的第二樣本人行為視頻數據標注的行為類別標簽和所述多視角人行為特征向量，對預設模型進行訓練，得到人行為識別模型。

4.根據權利要求1所述的方法，其特征在于，根據所述不同視角的人行為視頻數據，確定不同視角的人行為視頻數據的骨架數據，包括：

計算不同視角的人行為視頻數據中每幀畫面的人體姿態關鍵點位置，所述人體姿態關鍵點位置即為不同視角的人行為視頻數據的骨架數據；

所述骨架數據的計算公式為：

其中，表示第i個攝像機的第t幀圖像，x和y分別表示人體姿態關鍵點在圖像中的橫、縱坐標，j表示人體姿態關鍵點的編號，N為人體姿態關鍵點的總數。