[發明專利]一種人包關系檢測方法、裝置、設備及存儲介質

有效

• 申請號: 202010318852.0
• 申請日: 2020-04-21
• 公開（公告）號: CN111553228B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 李昆明;馮琰一;張少文;李德紘
• 申請（專利權）人: 佳都科技集團股份有限公司;廣州佳都科技軟件開發有限公司;廣州新科佳都科技有限公司;廣東華之源信息工程有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 陳照輝

1.一種人包關系檢測方法，其特征在于，包括：

基于神經網絡結構創建人包關系檢測網絡；利用訓練樣本圖像對所述人包關系檢測網絡進行訓練，直至所述人包關系檢測網絡在訓練過程中的損失函數滿足訓練要求，所述訓練樣本圖像標注有人位置框、包位置框和人包對應關系；

通過人包關系檢測網絡提取待分析圖像中的人位置框、包位置框、人關聯嵌入向量和包關聯嵌入向量，所述人位置框與所述人關聯嵌入向量、所述包位置框與所述包關聯嵌入向量一一對應；

根據所述人關聯嵌入向量和所述包關聯嵌入向量計算關聯嵌入關系成本；

根據所述人位置框和所述包位置框計算先驗成本；

基于所述關聯嵌入關系成本和所述先驗成本構建人包關系對應成本矩陣，并基于所述人包關系對應成本矩陣確定人包對應關系；

所述損失函數包括回歸損失L_reg、分類損失L_cls和關聯嵌入損失L_ass；

所述回歸損失通過smooth-L1-loss函數、IOU-Loss函數或GIou-Loss函數計算獲得；

所述分類損失通過cross-entropy-loss函數計算獲得；

所述關聯嵌入損失通過以下公式計算獲得：

L_ass＝μL_pull+νL_push

其中，s表示當前所屬關系中包和人的總數量，N為當前圖像中人包均存在的情況的所屬關系的數量，N′為所有所屬關系數量，Δ₂為預設的距離閾值；表示當前所屬關系中人和包的關聯嵌入向量值，μ、ν表示加權系數，L_pull和L_push分別為L_pull損失函數和L_push損失函數；

所述損失函數通過以下公式計算獲得：

L＝αL_cls+βL_reg+ηL_ass

其中α、β、η表示損失權重。

2.根據權利要求1所述的人包關系檢測方法，其特征在于，所述根據所述人關聯嵌入向量和所述包關聯嵌入向量計算關聯嵌入關系成本，包括：

獲取所述人關聯嵌入向量的向量值以及所述包關聯嵌入向量的向量值

基于所述人關聯嵌入向量的向量值以及所述包關聯嵌入向量的向量值根據以下公式計算關聯嵌入關系成本：

其中，i表示第i個人，j表示第j個包，表示關聯嵌入距離，T₁、T₂為預設閾值，H為預設常數，f_ass()表示單調遞增的關聯嵌入距離到嵌入損失的映射。

3.根據權利要求1所述的人包關系檢測方法，其特征在于，所述根據所述人位置框和所述包位置框計算先驗成本，包括：

基于所述人位置框和所述包位置框的相對關系，根據以下公式計算先驗成本：

其中，i表示第i個人，j表示第j個包，Θ表示所述人位置框和所述包位置框的相對關系，f_prior()表示先驗知識到先驗損失的映射。

4.根據權利要求1所述的人包關系檢測方法，其特征在于，所述基于所述關聯嵌入關系成本和所述先驗成本構建人包關系對應成本矩陣，并基于所述人包關系對應成本矩陣確定人包對應關系，包括：

基于所述關聯嵌入關系成本和所述先驗成本構建人包關系對應成本矩陣，根據以下公式計算人包關系對應成本：

其中，λ∈[0，1]，i表示第i個人，j表示第j個包，表示關聯嵌入關系成本，表示先驗成本；

基于所述人包關系對應成本構建人包關系對應成本矩陣；

基于所述人包關系對應成本矩陣確定人包對應關系。

5.根據權利要求4所述的人包關系檢測方法，其特征在于，所述基于所述人包關系對應成本矩陣確定人包對應關系，包括：

通過指派問題算法對所述人包關系對應成本矩陣進行求解，從而確定人包對應關系。