[發明專利]基于知識圖譜的監控視頻犬類姿態和行為智能識別方法

有效

• 申請號: 202010558916.4
• 申請日: 2020-06-18
• 公開（公告）號: CN111723729B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 段昶;周章玉;侯佳萍;李楠茜;李瓊
• 申請（專利權）人: 四川千圖禾科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/26;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

1.基于知識圖譜的監控視頻犬類姿態和行為智能識別方法，其特征在于，包括以下步驟：

S1.知識圖譜的構建；

利用犬的姿態信息、犬的基本行為信息、犬的局部器官行為信息、犬身體部位信息以及環境信息構建犬類姿態行為知識圖譜；

S2.訓練姿態和行為分類器；

所述訓練姿態分類器采用神經網絡訓練出一個或多個分類器，此類分類器只對圖片中的慮犬的姿態進行識別；訓練行為神經網絡分類器則通過對犬類姿態在時間上的變化情況，識別犬類基本行為；

所述訓練姿態神經網絡分類器采用深度神經網絡構建，包括以下步驟：

首先導入訓練集和測試集，定義一個適用于3通道圖像的卷積神經網絡，設置學習率、初始權重、迭代次數、圖片分辨率參數，使用分類交叉熵損失和帶有動量的隨機梯度下降算法定義損失函數和優化器，通過反向傳播對權重和偏差進行更新；

把所有帶標簽的圖像數據分成訓練集和測試集：訓練集用于對網絡進行訓練，測試集用于對網絡進行測試，評估神經網絡模型指標；

使用訓練好的網絡模型來預測該圖像屬于犬的各類姿態的概率分布，最終得到犬的姿態；

所述訓練行為神經網絡分類器的構建包括以下步驟：

首先，構建兩個網絡，分別為卷積神經網絡以及循環神經網絡；

所述卷積神經網絡用于對空間二維圖像上的局部感知；所述循環神經網絡用于時間上連續動作的時序建模,反映出犬的行為在時間上傳遞的關系；

然后，將兩個網絡輸出的得分矩陣進行融合,結合級聯時序分類優化方法,端對端地輸出犬的行為預測結果；

S3.監控視頻犬類姿態行為智能識別；

對監測到的含有犬行為的視頻進行處理，對含有犬各種行為姿態的連續幀的視頻進行抓幀，時間信號為每一幀，空間信號為每幀視頻上的圖像信息，對數據進行篩選，保存；

S4.對監控視頻進行數據處理；

對數據集的制作包括以下步驟：

S4.1.獲取多張相對應的圖像，構成圖像集；

S4.2.對所需內容進行人工標注，得到標注框，同時生成對應的標注文件，并將所述標注框確定為臨時感興趣區域；

S4.3.將數據集按8：1：1的比例分為訓練集、驗證集和測試集；所述數據集包含圖片和標簽；所述訓練集用于對網絡的訓練優化，驗證集選擇模型，測試集估算算法選出模型的泛化誤差，對模型進行評估；

S5.犬姿態的檢測、分割和識別；

在步驟S1構建的知識圖譜的指導下建立各層軀體結構檢測識別神經網絡；對監控視頻的每幀圖像中的犬只進行檢測、識別和分割，并對犬類圖像進行細分，得到犬只的身體結構信息；再提取犬的姿態的時域特征；

S6.犬的類型區域的建立；

通過步驟S5中的深度神經網絡檢測出的框里含有多個對象，只對犬的輪廓進行分割，分割出的犬的輪廓里的區域為犬的類型區域；

S7.構建犬的行為識別網絡；

構建一個犬的行為識別的網絡，以犬完成一個行為所需要的視頻幀數為標準，緩存M幀圖像并輸入S5中構建的犬姿態分類器，將其輸出再輸入本網絡，根據各幀的時序建立起連續動作的時序模板，結合犬行為的空間信息輸出犬的行為在時間上的傳遞關系；

S8.引入知識圖譜識別行為；

將構建好的知識圖譜中的邏輯結構引入神經網絡中，用循環和卷積神經網絡捕獲知識圖譜中犬的姿態、行為、犬的局部器官行為、犬身體部位以及環境信息，將識別網絡捕獲結果與知識圖譜中的先驗知識進行比對，給出犬行為的吻合度；所述知識圖譜是對犬的行為知識源進行知識的逐條提取，把知識整理匯聚成知識網絡后，構建動物行為的“實體-關系-實體”的三元組模型。

2.根據權利要求1所述的基于知識圖譜的監控視頻犬類姿態和行為智能識別方法，其特征在于：在步驟S1中采用Neo4j+python作為創建知識圖譜的工具。