[發明專利]一種邊緣計算架構下的多視角人行為識別方法與系統

有效

• 申請號: 202110891098.4
• 申請日: 2021-08-04
• 公開（公告）號: CN113743221B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王雪;游偉
• 申請（專利權）人: 清華大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 茍冬梅

本申請提供了一種邊緣計算架構下的多視角人行為識別方法及系統，屬于人行為識別技術領域。方法包括：攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的人行為視頻數據，并傳輸至與其相連邊緣計算節點，采集并保存相同時段內不同視角的待識別人行為視頻數據并進行數據預處理，輸入到人行為特征編碼器，得到多視角人行為特征向量，云端服務器接收邊緣計算節點上傳的多視角人行為特征向量，并輸入到人行為識別模型，得到人行為識別結果。通過在邊緣計算節點上進行人行為特征提取，云端服務器進行人行為分類，從而減輕云端服務器計算壓力，提高識別的實時性；采集利用多視角人行為信息，提高特征的表達能力，提高人行為識別的準確率。

技術領域

本申請涉及人行為識別技術領域，特別是涉及一種邊緣計算架構下的多視角人行為識別方法與系統。

背景技術

人行為識別技術能夠通過攝像機集的圖像數據判斷人的行為和含義，對提高安防監控系統自動化和智能化水平，保證社會生產生活的安定有序具有重要意義。現有的人行為識別方法，需要先將攝像機采集的圖像數據上傳到云端服務器，在云端服務器中保存大量的視頻數據，采用人工查看視頻的方式為數據標注標簽。

相關技術中，為減輕人工標注的工作量，采用自監督學習方法的技術路線。然而，在一方面，當存在物體遮擋或人體自身遮擋等情況時，自監督學習方法的識別準確率較低。在另一方面，自監督學習方法在端云端服務器上運行，占用了云端服務器的大量計算資源，導致人行為識別任務延遲較高。

發明內容

本申請公開了一種邊緣計算架構下的多視角人行為識別方法與系統，以解決上述問題或者至少部分地解決上述的問題。

第一方面，本發明實施例公開了一種邊緣計算架構下的多視角人行為識別方法，所述方法包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的待識別人行為視頻數據，并將所述不同視角的待識別人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點采集并保存相同時段內不同視角的待識別人行為視頻數據，對所述相同時段內不同視角的待識別人行為視頻數據進行數據預處理，將預處理后的數據輸入到人行為特征編碼器，得到多視角人行為特征向量，并傳輸至云端服務器；

所述云端服務器接收所述邊緣計算節點上傳的多視角人行為特征向量，并將所述人行為特征向量輸入到人行為識別模型，得到所述不同視角的待識別人行為視頻數據的人行為識別結果。

可選地，所述方法還包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的第一樣本人行為視頻數據，并將所述不同視角的第一樣本人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點采集并保存相同時段內不同視角的第一樣本人行為視頻數據，對所述相同時段內不同視角的第一樣本人行為視頻數據進行數據預處理，并基于預處理后不同視角的第一樣本人行為視頻數據，對預設人行為自監督特征學習模型進行訓練，得到所述人行為特征編碼器。

可選地，所述方法還包括：

攝像機組從不同視角對同一場景進行拍攝，獲得不同視角的第二樣本人行為視頻數據，并將所述不同視角的第二樣本人行為視頻數據傳輸至與其相連邊緣計算節點；

所述邊緣計算節點上傳設數量的不同視角的第二樣本人行為視頻數據，采集并保存相同時段內不同視角的第二樣本人行為視頻數據，對所述相同時段內不同視角的第二樣本人行為視頻數據進行數據預處理，將預處理后的數據輸入到人行為特征編碼器，得到多視角人行為特征向量，并傳輸至云端服務器；

所述云端服務器接收所述邊緣計算節點上傳的多視角人行為特征向量和預設數量的不同視角的第二樣本人行為視頻數據，根據所述預設數量的不同視角的第二樣本人行為視頻數據標注的行為類別標簽和所述多視角人行為特征向量，對預設模型進行訓練，得到人行為識別模型。