[發明專利]基于深度視覺的行為預測方法、裝置、設備及存儲介質

在審

• 申請號: 202111091390.4
• 申請日: 2021-09-17
• 公開（公告）號: CN113705534A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 孫安國
• 申請（專利權）人: 平安醫療健康管理股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于深度視覺的行為預測方法，其特征在于，包括：

獲取待檢測用戶的行為記錄視頻，其中，所述行為記錄視頻為所述待檢測用戶完成預設行為動作時產生的視頻影像；

對所述行為記錄視頻進行預處理，獲取所述行為記錄視頻中的關鍵幀圖像；

對所述關鍵幀圖像進行人體關鍵點檢測，并對檢測到的人體關鍵點連接，得到人體關鍵點圖像；

將所述人體關鍵點圖像導入預先訓練好的時序分類模型，得到所述待檢測用戶的行為分類結果；

基于所述行為分類結果預測所述待檢測用戶的行為，并生成所述待檢測用戶的行為預測報告。

2.如權利要求1所述的基于深度視覺的行為預測方法，其特征在于，所述對所述行為記錄視頻進行預處理，獲取所述行為記錄視頻中的關鍵幀圖像的步驟，具體包括：

計算所述行為記錄視頻中相鄰兩個視頻幀的直方圖數據和灰度圖數據；

基于所述直方圖數據和所述灰度圖數據，計算相鄰兩個視頻幀的加權歐式距離；

基于所述加權歐式距離確定所述行為記錄視頻的鏡頭轉換邊界；

基于所述鏡頭轉換邊界確定所述行為記錄視頻中的關鍵幀圖像。

3.如權利要求1所述的基于深度視覺的行為預測方法，其特征在于，在所述對所述關鍵幀圖像進行人體關鍵點檢測，并對檢測到的人體關鍵點連接，得到人體關鍵點圖像的步驟之前，還包括：

將所述關鍵幀圖像轉化為紅外圖像，從所述紅外圖像中獲取人體輪廓特征；

對所述紅外圖像進行去噪處理，去除所述紅外圖像的椒鹽噪點，得到去噪圖像；

基于所述去噪圖像和所述人體輪廓特征，確定所述關鍵幀圖像中的人體區域。

4.如權利要求3所述的基于深度視覺的行為預測方法，其特征在于，所述對所述關鍵幀圖像進行人體關鍵點檢測，并對檢測到的人體關鍵點連接，得到人體關鍵點圖像的步驟，具體包括：

基于預設的多階段網絡對所述關鍵幀圖像中的人體區域進行關節點識別，得到人體關鍵點；

計算所述人體關鍵點之間的親和力值；

基于所述親和力值對所述人體關鍵點進行連接，得到人體關鍵點圖像。

5.如權利要求4所述的基于深度視覺的行為預測方法，其特征在于，所述基于所述親和力值對所述人體關鍵點進行連接，得到人體關鍵點圖像的步驟，具體包括：

判斷所述親和力值是否大于或等于預設閾值；

當所述親和力值大于或等于預設閾值時，對所述人體關鍵點進行匹配連接，得到人體關鍵點圖像。

6.如權利要求1至5任意一項所述的基于深度視覺的行為預測方法，其特征在于，所述將所述人體關鍵點圖像導入預先訓練好的時序分類模型，得到所述待檢測用戶的行為分類結果的步驟，具體包括：

對所述人體關鍵點圖像進行特征提取，生成所述人體關鍵點圖像的特征向量；

將所述特征向量輸入至所述自注意力層中，獲取所述自注意力層輸出的第一特征矩陣；

將所述第一特征矩陣輸入至所述記憶網絡層中，獲取所述記憶網絡層輸出的第二特征矩陣；

將所述第二特征矩陣輸入至所述歸一化層中，獲取所述歸一化層輸出的所述行為分類結果。

7.如權利要求6所述的基于深度視覺的行為預測方法，其特征在于，所述將所述第一特征矩陣輸入至所述記憶網絡層中，獲取所述記憶網絡層輸出的第二特征矩陣的步驟，具體包括：

獲取所述記憶網絡層的歷史特征矩陣，并合并所述歷史特征矩陣和所述第一特征矩陣，得到合并特征矩陣；

獲取所述記憶網絡層的權重矩陣，并基于所述權重矩陣調整所述合并特征矩陣，輸出第二特征矩陣。