[發明專利]基于強度圖像和深度圖像的目標分析方法及設備

有效

• 申請號: 200910168294.8
• 申請日: 2009-08-24
• 公開（公告）號: CN101996401A
• 公開（公告）日: 2011-03-30
• 發明（設計）人: 陳茂林;楚汝峰
• 申請（專利權）人: 三星電子株式會社;北京三星通信技術研究有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 郭鴻禧;楊靜

技術領域

本發明涉及一種視頻目標分析方法和設備。更具體地講，本發明涉及一種基于強度圖像和深度圖像的目標分析方法及設備，通過該方法和設備，可從視頻流中精確地檢測出感興趣的視頻目標的各個部件，以獲得目標的動作信息。

背景技術

隨著3D動畫、游戲、人機交互界面等的廣泛應用，目前在計算機視覺和模式識別領域，正對視頻目標分析技術進行廣泛研究。為了進行動畫模擬，首先需要從視頻中檢測目標的各個部件，以便獲得目標的動作信息

為了檢測目標的部件，通常使用自下而上的方法(bottom-up?method)和自上而下的方法(up-bottom?method)。在前一種方法中，首先利用目標部件的特征來檢測目標部件，如利用皮膚顏色的檢測、針對四肢的條形檢測等，然后根據其驗證模型對檢測出的候選部件進行整合。這種方法非常依賴于對目標部件的典型特征的開發以及對背景噪聲的抑制。在后一種方法中，對目標的姿態空間進行反覆搜索，提出假設并對每個假設進行評價。這種方法要求搜索空間必須很小，以便提高計算速度。

在視頻目標分析過程中，通常需要從原始圖像中分割出前景，即去除混亂的背景區域，以便于精確地檢測目標。傳統的前景分割方法主要針對來源于CCD相機的顏色圖像。顏色圖像的背景一般非常混亂，因此基于顏色圖像的前景分割計算量非常大并且不精確。盡管目前還提出了基于深度圖像的前景分割方法，但是該方法也不精確。

一旦前景分割不精確，就會使得后續的目標分析變得非常困難，并且目標分析結果會受到具有相似特征的背景噪聲的干擾。另外，混亂背景中往往會呈現出豐富的邊緣特征，這些邊緣特征成為噪聲，影響目標部件檢測或假設評價中的邊緣特征分析結果。

因此，需要一種能夠更精確地分割前景從而提高目標分析性能的目標分析方法和設備。

發明內容

本發明的一個目的在于提供一種能夠更精確地分割前景從而提高目標分析性能的目標分析方法和設備。

本發明的另一個目的在于提供一種能夠實現準確的骨架線驗證的目標分析方法和設備。

為了實現上述目的，本發明的設備和方法不再局限于使用顏色圖像，而是采用來自例如TOF相機的強度圖像和深度圖像。

為實現本發明的目的，提供一種基于目標的深度圖像和強度圖像的目標分析設備，該設備包括：主體部件檢測單元，從目標的強度圖像中檢測目標的主體部件；前景分割單元，基于檢測到的主體部件中的強度值計算強度閾值，使用該強度閾值將強度圖像轉換為二值圖，并使用所述二值圖對目標的深度圖像進行掩模，以獲得掩模深度圖像；活動部件檢測單元，從掩模深度圖像中檢測目標的活動部件。

依據本發明，主體部件檢測單元經統計學習方法訓練，以從強度圖像中檢測目標的主體部件。此外，前景分割單元對檢測到的主體部件中的強度值進行統計平均，并將所得值作為強度閾值。

依據本發明，活動部件檢測單元包括：骨架線檢測單元，從掩模深度圖像中檢測多條骨架線；骨架線驗證單元，對所述多條骨架線進行驗證，以選出最佳骨架線。骨架線驗證單元通過將主體部件檢測單元檢測到的主體部件作為常數，來對所述多條骨架線進行驗證。此外，骨架線驗證單元基于主體部件檢測單元檢測到的主體部件來確定目標的肩膀點，將確定的肩膀點與所述多條骨架線之一的一端連接以形成虛擬骨架線，并且對所述多條骨架線以及虛擬骨架線進行驗證。

另外，所述目標的主體部件可以是人的頭部和軀干，活動部件可以是人的四肢。

為了實現上述目的，提供一種基于目標的深度圖像和強度圖像的目標分析方法，該方法包括以下步驟：a)從目標的強度圖像中檢測目標的主體部件；b)基于檢測到的目標的主體部件中的強度值計算強度閾值；c)使用所述強度閾值將強度圖像轉換為二值圖；d)使用所述二值圖對深度圖像進行掩模，獲得掩模深度圖像；e)從掩模深度圖像中檢測目標的活動部件。

因此，與傳統技術中基于顏色圖像的前景分割不同，在本發明中，首先用簡單快速的方法基于強度圖像檢測目標的相對簡單的主體部件以形成掩模。然后，基于該掩模從深度圖像中分割出前景，并進一步檢測目標的活動部件的骨架線。使用統計學習方法訓練得到的部件檢測器可用于進行目標的主體部件檢測，因而可以大致估計目標位置和比例。這可以顯著減小參數搜索空間。另外，在骨架線驗證中，使用了虛擬部件，從而可以更準確地驗證骨架線。

附圖說明

圖1是示出依據本發明的目標分析設備的結構的框圖；

圖2示出強度圖像和深度圖像的示例；

圖3示出目標的主體部件的示例；