[發明專利]基于知識圖譜的監控視頻犬類姿態和行為智能識別方法

有效

• 申請號: 202010558916.4
• 申請日: 2020-06-18
• 公開（公告）號: CN111723729B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 段昶;周章玉;侯佳萍;李楠茜;李瓊
• 申請（專利權）人: 四川千圖禾科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/26;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

本發明公開了一種通過引入犬類行為知識圖譜來設計訓練的深度神經網絡以識別監控視頻中犬的姿態和行為的基于知識圖譜的監控視頻犬類姿態和行為智能識別方法。該基于知識圖譜的監控視頻犬類姿態和行為智能識別方法，包括步驟：S1、知識圖譜的構建；S2、訓練姿態和行為分類器；S3、監控視頻犬類姿態行為智能識別；S4、對監控視頻進行數據處理；S5、犬姿態的檢測、分割和識別；S6、犬的類型區域的建立；S7、構建犬的行為識別網絡；S8、引入知識圖譜識別行為。采用該基于知識圖譜的犬監控視頻犬類姿態智能識別方法通用性更強，可以減少訓練者的勞動量，并且通過智能方法檢測犬的行為可以使訓練效果更好，犬的姿態，行為更標準。

技術領域

本發明涉及監控視頻中動物姿態和行為識別領域，尤其是基于知識圖譜的監控視頻犬類姿態和行為智能識別方法。

背景技術

公知的：犬是我們生活中常見的動物，大多數犬作為寵物陪伴在我們身邊，少部分犬也可以被訓練成為人類的得力助手，例如根據犬種類的不同，經特定訓練，它們可以成為警犬，軍犬，導盲犬，搜救犬，緝毒犬，救生犬等。

近些年來惡犬襲擊人類的事件層出不窮，人們無法分辨出惡犬，以及惡犬何時對人類襲擊進行判斷。因此急需一種能夠便于快速準確的識別犬類姿態和行為的方法，從而便于對犬的各種姿態和行為進行判斷，避免出現犬傷人事件，同時便于實現預警以及對犬類的訓導。

發明內容

本發明所要解決的技術問題是提供一種通過引入犬類行為知識圖譜來設計訓練的深度神經網絡以識別監控視頻中犬的姿態和行為的基于知識圖譜的監控視頻犬類姿態和行為智能識別方法。

本發明解決其技術問題所采用的技術方案是：基于知識圖譜的監控視頻犬類姿態和行為智能識別方法，包括以下步驟：

S1.知識圖譜的構建；

利用犬的姿態信息、犬的基本行為信息、犬的局部器官行為信息、犬身體部位信息以及環境信息構建犬類姿態行為知識圖譜；

S2.訓練姿態和行為分類器；

所述訓練姿態分類器采用神經網絡訓練出一個或多個分類器，此類分類器只對圖片中的慮犬的姿態進行識別；所述訓練行為神經網絡分類器則通過對犬類姿態在時間上的變化情況，識別犬類基本行為；

所述訓練姿態神經網絡分類器采用深度神經網絡構建，包括以下步驟：

首先導入訓練集和測試集，定義一個適用于3通道圖像的卷積神經網絡，設置學習率、初始權重、迭代次數、圖片分辨率等參數，使用分類交叉熵損失和帶有動量的隨機梯度下降算法定義損失函數和優化器，通過反向傳播對權重和偏差進行更新；

把所有帶標簽的圖像數據分成訓練集和測試集：訓練集用于對網絡進行訓練，測試集用于對網絡進行測試，評估神經網絡模型指標；

使用訓練好的網絡模型來預測該圖像屬于犬的各類姿態的概率分布，最終得到犬的姿態；

所述訓練行為神經網絡分類器的構建包括以下步驟：

首先，構建兩個網絡，分別為卷積神經網絡以及循環神經網絡；

所述卷積神經網絡用于對空間二維圖像上的局部感知；所述循環神經網絡用于時間上連續動作的時序建模,反映出犬的行為在時間上傳遞的關系；

然后，將兩個網絡輸出的得分矩陣進行融合,結合級聯時序分類優化方法,端對端地輸出犬的行為預測結果；

S3.監控視頻犬類姿態行為智能識別；

對監測到的含有犬行為的視頻進行處理，對含有犬各種行為姿態的連續幀的視頻進行抓幀，時間信號為每一幀，空間信號為每幀視頻上的圖像信息，對數據進行篩選，保存；

S4.對監控視頻進行數據處理；