[發明專利]基于關鍵點的關聯方法、系統及介質

有效

• 申請號: 202011451402.5
• 申請日: 2020-12-10
• 公開（公告）號: CN112800825B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 陳長升;齊竟雄;何翔
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T7/62;G06N3/04
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 宋寶庫;郭婷

本發明涉及圖像處理領域，具體涉及基于關鍵點的關聯方法、系統以及介質。旨在解決復雜場景下檢測的不同部分如何更準確快速地進行關聯，確保關聯正確的不同部分的配對屬于同一個目標的技術問題。本發明主要針對行人目標的檢測識別，根據關聯前置條件過濾掉完全不能配對的人頭?人體框對，再通過檢測人體框時計算得到人體框的關鍵點計算人頭?人體框對的關聯損失度，利用全局最優匹配算法進行一對一關聯而獲得關聯正確的配對，表示屬于同一個行人目標。通過本發明的技術方案，能夠降低算法計算量、提高配對準確性，支持多樣化密集場景下準確可靠的人頭人體關聯。

技術領域

本發明涉及圖像處理領域，特別是涉及一種基于關鍵點的關聯方法、裝置、設備、以及介質。

背景技術

隨著人們對公共安全問題的重視以及監控攝像頭數量和覆蓋程度的快速增加，智能化的安防視頻監控發揮著越來越重要的作用。在高質量高性能的安防視頻全結構化研究鄰域中，為了保持檢測器模型的簡潔高效性，通常只對視頻每幀圖像檢測的目標框例如人頭框和人體框而不設計相應的模型結構進行所屬行人目標的人頭人體關聯操作。因此，在檢測器返回檢測結果后，需要額外增加一個模塊進行目標第一部分和第二部分如人頭人體關聯操作。

在該研究鄰域中，以行人這類目標檢測(識別目標)為例，目前普遍的做法是通過計算人頭框和人體框的交集面積大小進行關聯操作。但在密集行人場景下，該方式的實用性非常差。例如，對于一前一后相互遮擋的兩個行人目標，此時檢測器返回的結果為一個人體框和兩個人頭框。僅通過計算人頭框和人體框交集面積大小，無法確保正確的關聯結果。因此，在高質量高性能的安防視頻全結構化研究鄰域中，密集場景下的人頭人體框關聯急需準確可靠的解決方案。

發明內容

本發明針對目前存在的缺陷，提供基于關鍵點的關聯方法、系統及介質，以解決或部分解決如何根據目標組成部分的關鍵點實現密集場景下目標的不同組成部分的更準確可靠的關聯而識別目標的技術問題。

第一方面，本發明提供一種基于關鍵點的關聯方法，包括：將檢測到的多個目標的不同組成部分形成配對，根據所述不同組成部分的關鍵點，計算每一所述配對的關聯損失度，所述關聯損失度用于表示每個配對內的兩個組成部分關聯錯誤的程度；根據所述關聯損失度，確定所述配對是否屬于同一個目標。

其中，在“所述根據所述不同組成部分的關鍵點，計算每一所述配對的關聯損失度”之前，還包括：判斷所述配對是否滿足預設的關聯前置條件；如果滿足，則根據所述不同組成部分的關鍵點，計算每一所述配對的關聯損失度。

其中，所述不同組成部分包括：第一部分和第二部分；將檢測到的多個目標的不同組成部分形成配對，具體包括：將每個第一部分與每個第二部分形成兩兩配對；所述關聯前置條件為：每個配對中所述第一部分在水平方向上被所述第二部分所包含的范圍大小與所述第一部分的范圍大小的比率、以及所述第一部分在垂直方向上被所述第二部分所包含的范圍大小與所述第一部分的范圍大小的比率，同時都大于或等于預設的第一閾值；或者，每個配對中所述第一部分的頂點位置與第二部分相同的頂點位置之間的距離，與第一部分的寬度或高度的比率大于預設的第二閾值、或者與第二部分的高度的比率，小于預設的第二閾值；或者，每個配對中所述第一部分和所述第二部分的交集的面積，與所述第一部分的面積之間的比率，大于或等于預設的第三閾值。

還包括：在通過基于深度學習的估計模型檢測到所述不同組成部分時，同時獲得所述不同組成部分的關鍵點；根據所述不同組成部分的關鍵點，計算所述配對的關聯損失度，具體包括：根據每個配對中所述第二部分的關鍵點計算基于關鍵點的連線的中心點，并確定所述連線的中心點是否在對應配對的第一部分中；如果是，則計算所述連線的中心點到所述第一部分的中心點之間的距離，并將該距離作為所述配對的關聯損失度；或者，如果是，則計算所述第二部分的關鍵點與所述第一部分的中心點相對距離或角度，作為所述配對的關聯損失度；或者，如果是，則將所述第二部分的關鍵點和所述第一部分的中心點，輸入到深度學習模型中，其計算結果作為所述配對的關聯損失度。