[發(fā)明專利]基于地平面檢測從圖像序列中恢復人類對象的缺失腳部

在審

• 申請?zhí)枺?/td>: 201980042848.1
• 申請日: 2019-05-21
• 公開（公告）號: CN112313704A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設計）人: M·格哈拉維-阿爾克漢薩利;武田浩行
• 申請（專利權）人: 索尼公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06T7/50;G06T5/00;G06T5/20
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王玉璽

一種對象分割系統(tǒng)，包括第一類型傳感器，第二類型傳感器和控制電路。第一類傳感器捕獲場景的彩色圖像幀序列。第二類型傳感器捕獲彩色圖像幀序列中的每個對應的彩色圖像幀的深度圖像。控制電路生成輸入彩色圖像幀的點云。控制電路從輸入彩色圖像幀的背景中分割前景人類對象。控制電路檢測輸入彩色圖像幀中捕獲的場景的地平面。控制電路恢復距離檢測到的地平面的水平的限定區(qū)域中的腳部區(qū)域。控制電路基于對地平面的檢測，從輸入彩色圖像幀的背景中提取具有恢復的腳部區(qū)域的前景人類對象。

相關申請的交叉參考/引用

沒有。

技術領域

本公開的各種實施例涉及從圖像序列的對象提取技術。更具體地，本公開的各種實施例涉及用于基于地平面檢測從圖像序列進行準確的人類對象的缺失腳部恢復的對象分割裝置和方法。

背景技術

圖像處理領域的最新發(fā)展已經(jīng)導致各種圖像分割技術的進步。這樣的技術便于基于不同的基于統(tǒng)計和/或概率圖像特征的方法從特定圖像分割感興趣對象(諸如人體)。這種對象分割技術的示例可以包括基于壓縮的對象分割技術、基于顏色的分割技術、基于深度的對象分割技術和基于直方圖的對象分割技術。

當前，在基于特征顏色的分割方法中，可以基于從捕獲圖像減除預定的靜態(tài)背景圖像來分割感興趣對象。然而，為了生成預定靜態(tài)背景圖像，當場景中不存在感興趣對象時，需要常規(guī)對象分割裝置來捕獲場景的圖像序列，這可能是不合需要的。場景的預定靜態(tài)背景圖像可以從所捕獲的圖像序列生成。背景圖像減除方法可能進一步需要用靜態(tài)相機從場景捕獲圖像序列。在另一基于深度的方法中，常規(guī)裝置可通過使用可由深度傳感器捕獲的深度圖像來分割感興趣對象。在深度傳感器捕獲包括無效深度值的有噪聲的深度圖像的情況下，傳統(tǒng)的對象分割裝置可能錯誤地且不精確地從捕獲圖像分割感興趣對象。基于這些方法分割的感興趣對象(諸如人類對象)可能沒有腳部區(qū)域，因為腳部區(qū)域靠近分割可能不準確的地平面。另外，人類對象的腳部區(qū)域周圍的面積也可以被人類對象的陰影改變。因此，經(jīng)分割的人類對象可能具有可能不期望的缺失的腳部區(qū)域。

通過將所描述的系統(tǒng)與本公開的一些方面進行比較，如在本申請的其余部分中并且參考附圖所闡述的，常規(guī)和傳統(tǒng)方法的進一步的限制和缺點對于本領域技術人員將變得顯而易見。

發(fā)明內容

本發(fā)明提供了一種用于基于地平面檢測從圖像序列進行人類對象的缺失腳部恢復的對象分割裝置和方法，其基本上如至少一幅附圖所示和/或結合至少一幅附圖進行描述，并在權利要求中更完整地闡述。

通過閱讀本公開的以下詳細描述以及附圖，可以理解本公開的這些和其他特征和優(yōu)點，在附圖中，相同的附圖標記始終表示相同的部件。

附圖說明

圖1是示出根據(jù)本公開的實施例的用于基于地面平面檢測從圖像序列進行人類對象的缺失腳部恢復的示例性網(wǎng)絡環(huán)境的框圖。

圖2是示出根據(jù)本公開的實施例的示例性對象分割裝置的框圖。

圖3A、圖3B、圖3C、圖3D、圖3E、圖3F、圖3G和圖3H共同地示出了根據(jù)本公開實施例的用于基于地面檢測從圖像序列進行人類對象的缺失腳部恢復的示例性操作。

圖4A、圖4B和圖4C共同地描述了示出了根據(jù)本公開的實施例的用于基于地面檢測從圖像序列進行人類對象的缺失腳部恢復的示例性操作的流程圖。

具體實施方式