[發明專利]一種動作識別模型構建方法、裝置、存儲介質及電子設備

在審

• 申請號: 202111680863.4
• 申請日: 2021-12-31
• 公開（公告）號: CN114463842A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 余燕清;張如高;虞正華
• 申請（專利權）人: 魔視智能科技（上海）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/59;G06N3/08;G06N3/04;G06V10/46;G06V10/82
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 王娜

本發明公開了一種動作識別模型構建方法、裝置、存儲介質及電子設備，所述方法包括：獲取圖像訓練樣本并將所述圖像訓練樣本輸入至目標神經網絡；利用所述目標神經網絡中的檢測分支網絡對所述圖像訓練樣本中每一張圖像進行處理得到對應的第一方向向量、第二方向向量、第三方向向量；根據每一張圖像的目標人物的動作狀態和所述第一方向向量、第二方向向量、第三方向向量對預設神經網絡模型進行訓練得到動作識別模型。該方法通過目標神經網絡可以達到實時的性能；通過每一張圖像的動作狀態以及對應的方向向量進行訓練得到的動作識別模型不需要進行復雜的后處理，可以直接識別細粒度的動作。

技術領域

本發明涉及汽車駕駛輔助終端技術領域，具體涉及一種動作識別模型構建方法、裝置、存儲介質及電子設備。

背景技術

手離方向盤檢測(hands-off detection)和安全帶佩戴檢測(safe beltfastness detection)是座艙司機狀態檢測重要的兩個方面。基于傳統的傳感器判斷是否手扶方向盤或佩戴安全帶，容易受人為干擾，比如，基于壓力感應的方向盤，可以采用力道合適的夾子或外人干擾，同理安全帶佩戴也易受人為干擾，目前基于視覺的識別方案已成為主流。現有基于視覺的識別方案，都是通過識別物體(手、安全帶、方向盤)，再通過復雜的后處理邏輯進行判斷是否手離方向盤或是否佩戴安全帶，但是后處理邏輯復雜且難以區分細粒度的動作狀態。

發明內容

有鑒于此，本發明實施例提供了涉及一種動作識別模型構建方法、裝置、存儲介質及電子設備，以解決現有技術中通過動作識別模型輸出識別結果時需要進行復雜的后處理邏輯且難以區分細粒度的動作狀態的技術問題。

本發明提出的技術方案如下：

本發明實施例第一方面提供一種動作識別模型構建方法，該動作識別模型構建方法包括：獲取圖像訓練樣本并將所述圖像訓練樣本輸入至目標神經網絡；利用所述目標神經網絡中的檢測分支網絡對所述圖像訓練樣本中每一張圖像中包含的目標人物整個身體、待識別動作對應的目標人物關鍵部位以及待識別動作作用物體分別進行檢測得到所述目標人物整個身體的多個身體中心點、所述待識別動作對應的目標人物關鍵部位的多個關鍵部位中心點以及所述待識別動作作用物體的多個物體中心點，每一個身體中心點、關鍵部位中心點以及物體中心點都對應一個方向向量；根據所述多個身體中心點及每一個身體中心點對應的方向向量、所述多個關鍵部位中心點及每一個關鍵部位中心點對應的方向向量、所述多個物體中心點及其每一個物體中心點對應的方向向量，利用所述目標神經網絡中的匹配網絡進行回歸匹配處理，得到唯一身體中心點及其對應的方向向量、唯一關鍵部位中心點及其對應的方向向量以及唯一物體中心點及其對應的方向向量；根據所述唯一關鍵部位中心點及其對應的方向向量與所述唯一物體中心點及其對應的方向向量確定所述待識別動作對應的目標人物身體作用點距離作用物體的距離中心點及其對應的方向向量；根據所述距離中心點及其對應的方向向量和所述唯一關鍵部位中心點及其對應的方向向量確定所述距離中心點與所述唯一關鍵部位中心點的第一方向向量，根據所述距離中心點及其對應的方向向量和所述唯一物體中心點及其對應的方向向量確定所述距離中心點與所述唯一物體中心點的第二方向向量，根據所述唯一身體中心點及其對應的方向向量和所述唯一關鍵部位中心點及其對應的方向向量確定所述唯一身體中心點與所述唯一關鍵部位中心點之間的第三方向向量；根據每一張圖像的目標人物的動作狀態和所述第一方向向量、第二方向向量、第三方向向量對預設神經網絡模型進行訓練得到動作識別模型。