[發明專利]一種手持物品的多目標跟蹤和行為判定的裝置和方法

在審

• 申請號: 202010757549.0
• 申請日: 2020-07-31
• 公開（公告）號: CN111967352A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 張元本
• 申請（專利權）人: 廣州微林軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/246;G06T7/73
• 代理公司: 廣州海石專利代理事務所(普通合伙) 44606
• 代理人: 羅偉添

本發明提供一種手持物品的多目標跟蹤和行為判定的裝置和方法，整個系統分為成像模塊、標注模塊、訓練模塊，識別模塊、軌跡跟蹤模塊、行為判定模塊。通過網絡攝像頭獲取圖像，圖像數據上傳至服務器，由運行在服務器中的程序，判定是否是人手持物品，并最終判定是放物品，還是取物品。該裝置和方法通過將手掌，手掌?手持物品，物品三種目標分情況檢測，并通過檢測邏輯，在不更改檢測算法的前提下，提升識別率。在行為判定階段，通過行為判定邏輯，剔除錯誤軌跡，提升正確率。

技術領域

本發明涉及圖像識別技術領域，尤其涉及一種手持物品的多目標跟蹤和行為判定的裝置和方法。

背景技術

智能家居(smart home,home automation)是以住宅為平臺，利用綜合布線技術、網絡通信技術、安全防范技術、自動控制技術、音視頻技術將家居生活有關的設施集成，構建高效的住宅設施與家庭日程事務的管理系統，提升家居安全性、便利性、舒適性、藝術性，并實現環保節能的居住環境。

近年來，隨著智能家居的普及，越來越多的家用設備進行了智能化更迭，而現有智能家居中的用于存儲食物的冷柜、冰箱、食物柜或置物柜等，其僅僅只具備前端的部分功能，缺少后端的智能化進行支持，存在著智能化不足，功能較少的問題。

隨著人工智能的快速發展，目標跟蹤算法得到了快速發展，特別是在行人、車輛跟蹤等多目標跟蹤領域取得了很好的效果，但是對于其他目標的跟蹤，例如專利201310568186.6這類的智能冰箱的使用，尤其是手持物品的多目標跟蹤，由于物體被遮擋，跟蹤時很容易被誤判為另一個目標。

發明內容

本發明的目的就在于為了解決上述問題而提供了一種手持物品的多目標跟蹤和行為判定的裝置和方法，降低了目標被誤判的可能性。

本發明解決其技術問題所采用的技術方案是：

一種手持物品的多目標跟蹤和行為判定的裝置，包括以下部分，

成像模塊，用于拍攝并捕捉視野范圍內的運動目標；

標注模塊，用于分別對手掌進行標注，對手掌-手持物品進行標注，對物品進行標注，生成標注圖像數據，給訓練模塊提供訓練數據；

訓練模塊，用于對標注模塊標注的圖像數據進行訓練；

識別模塊，用于用訓練模塊訓練好的模型對目標對象進行識別，給出識別的目標位置；

軌跡跟蹤模塊，用于通過目標對象軌跡，在一幀圖像中，判定目標對象是否為疑似目標；

判定模塊，用于在疑似目標的連續幀圖像中，通過預先設定的行為判定邏輯，對軌跡進行限定，剔除部分明顯不符合行為的軌跡，最終給出不同軌跡的行為判定。

一種手持物品的多目標跟蹤和行為判定的方法，通過網絡攝像頭，拍攝并捕捉視野范圍內的運動目標，分別對手掌進行標注，對手掌-手持物品進行標注，對物品進行標注，生成標注圖像數據，對圖像數據進行訓練，用訓練好的模型對目標對象進行識別，給出識別的目標位置，通過目標對象軌跡，在一幀圖像中，判定目標對象是否為疑似目標，在疑似目標的連續幀圖像中，通過預先設定的行為判定邏輯，對軌跡進行限定，剔除部分明顯不符合行為的軌跡，最終給出不同軌跡的行為判定。

進一步的，其中，對圖像數據進行訓練，采用rcnn算法或者yolo算法。

進一步的，其中，用訓練好的模型對目標對象進行識別，對象包括手掌A、手掌-手持物品B、物品C，給出識別的目標位置box、類別class、得分score，分別為手掌的目標位置box_A、手掌的類別class_A、手掌的得分score_A、手掌-手持物品的目標位置box_B、手掌-手持物品的類別class_B、手掌-手持物品的得分score_B、物品的目標位置box_C、物品的類別class_C、物品的得分score_C。