[發明專利]虛化背景下人體骨骼關鍵點檢測結果的過濾方法

有效

• 申請號: 201810299569.0
• 申請日: 2018-04-04
• 公開（公告）號: CN108510491B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 王興政;李萌;王好謙;方璐;戴瓊海
• 申請（專利權）人: 深圳市未來媒體技術研究院;清華大學深圳研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06K9/46;G06K9/62
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 徐羅艷

本發明公開了一種虛化背景下人體骨骼關鍵點檢測結果的過濾方法，包括：對RGB圖像進行人體骨骼關鍵點的初步檢測，得到初步結果；對RGB圖像進行深度估計得到深度估計圖；對深度估計圖進行深度聚類，以將深度估計圖劃分為N個區域，計算每個區域的平均深度；其中，N≥1；對所述初步結果進行過濾，包括：若N＝1，則不進行過濾，將所述初步結果作為最終的檢測結果；若N≥2，首先對經所述初步檢測得到的每一個人，分別統計其在所述深度估計圖的N個區域中的骨骼關鍵點數量；然后找出每個人的骨骼關鍵點數量最多的區域，判定相應的人屬于該區域；最后將屬于平均深度最大的區域的人的骨骼關鍵點檢測結果從所述初步結果中去除，得到最終的檢測結果。

技術領域

本發明涉及計算機視覺與數字圖像處理領域，尤其是涉及對虛化背景下人體骨骼關鍵點檢測的結果進行過濾的方法。

背景技術

對圖像或視頻中的人體進行骨骼關鍵點檢測，是計算機視覺領域一個非常重要的研究方向。人體骨骼關鍵點檢測的結果可用于人體動作分類、體態特征獲取等方面，是姿態識別、異常行為檢測等技術的基礎，對于智能安防、無人駕駛、人機交互等多個領域，都具有重要的實用價值。

目前的人體骨骼關鍵點檢測方法主要分為兩種：“自底向上”的方法和“自頂向下”的方法。

“自底向上”的方法，是指先在圖像中檢測出所有可能的人體骨骼關鍵點，再在全局條件下對圖像中屬于同一個人的骨骼關鍵點進行連接。這種方法在算法初期提供了一定的魯棒性，即可以較為有效地檢測出全部人體骨骼關鍵點，并可將運行時的復雜度與圖像中人的數量解耦，具有較高的檢測速度。然而由于這種方法僅利用了輸入圖像的二維平面信息，容易將圖像中背景信息和前景中的人體信息混淆，通常存在檢測骨骼關鍵點數量大于實際數量的問題。

“自頂向下”的方法，是指首先對包含人體的圖像使用邊緣檢測、深度學習等物體檢測方法，估計圖像中每個人的大致位置，然后對于每個檢測到的人，運行一個單獨的姿態估計器，分別對每個人進行獨立的關鍵點檢測，以獲取圖像中全部人的骨骼關鍵點信息。然而由于圖像中背景信息也會影響物體檢測方法和姿態估計器的精度，因此也存在檢測到的骨骼關鍵點數量與實際數量不符的問題。

現如今大多數大眾設備所拍攝的人像圖像均是背景虛化的圖像，對背景虛化的圖像進行人體骨骼關鍵點檢測的現有方案中，其檢測結果往往會包含已虛化部分的點，然而虛化部分的檢測結果往往沒有太大的實際意義，反而加劇了檢測結果不精確的問題。可見，對虛化背景部分的檢測結果進行過濾實屬必要。

以上背景技術內容的公開僅用于輔助理解本發明的發明構思及技術方案，其并不必然屬于本專利申請的現有技術，在沒有明確的證據表明上述內容在本專利申請的申請日前已經公開的情況下，上述背景技術不應當用于評價本申請的新穎性和創造性。

發明內容

本發明的主要目的在于提出一種虛化背景下人體骨骼關鍵點檢測結果的過濾方法，以對虛化背景圖像的人體骨骼關鍵點檢測結果進行過濾，去除不重要的、不精確的檢測結果。

本發明為達上述目的提出以下技術方案：

一種虛化背景下人體骨骼關鍵點檢測結果的過濾方法，包括：

對一含人像的RGB圖像進行人體骨骼關鍵點的初步檢測，得到人體骨骼關鍵點檢測的初步結果；所述初步結果包括所述RGB圖像中的人數以及檢測到的每個人的骨骼關鍵點坐標集合；

對所述RGB圖像進行深度估計，得到深度估計圖；

對所述深度估計圖進行深度聚類，以將所述深度估計圖劃分為N個區域，并計算每個區域的平均深度；其中，N≥1；

對所述初步結果進行過濾，包括：

若N＝1，則不進行過濾，將所述初步結果作為最終的檢測結果；