[發(fā)明專利]基于地平面檢測從圖像序列中恢復(fù)人類對象的缺失腳部

在審

• 申請?zhí)枺?/td>: 201980042848.1
• 申請日: 2019-05-21
• 公開（公告）號: CN112313704A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: M·格哈拉維-阿爾克漢薩利;武田浩行
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06T7/50;G06T5/00;G06T5/20
• 代理公司: 中國貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 王玉璽

1.一種對象分割系統(tǒng)，包括：

第一類型傳感器，被配置為捕獲場景的彩色圖像幀序列；

第二類型傳感器，被配置為捕獲所述彩色圖像幀序列中的每個(gè)對應(yīng)彩色圖像幀的深度圖像；以及

控制電路，被配置為：

基于從所述第二類型傳感器接收的輸入彩色圖像幀的對應(yīng)輸入深度圖像，生成從所述第一類型傳感器接收的所述彩色圖像幀序列的輸入彩色圖像幀的點(diǎn)云；

基于第一圖像參數(shù)集合從所述輸入彩色圖像幀的背景分割前景人類對象，其中，分割的前景人類對象缺少前景人類對象的腳部區(qū)域的至少部分；

通過將從所生成的點(diǎn)云中的多個(gè)點(diǎn)投影的多個(gè)向量聚類成向量簇集合來檢測在所述輸入彩色圖像幀中捕獲的所述場景的地平面，其中，基于與所生成的點(diǎn)云中的所述向量聚類集合中的一個(gè)向量聚類相關(guān)聯(lián)的取向信息來檢測所述場景的地平面；

基于與所述第一圖像參數(shù)集合不同的第二圖像參數(shù)集合，恢復(fù)距離所述輸入彩色圖像幀中所檢測到的地平面的水平的限定區(qū)域中的腳部區(qū)域；以及

基于對地平面的檢測和距離所檢測到的地平面的水平的限定區(qū)域中的多個(gè)前景像素，從所述彩色圖像幀序列的輸入彩色圖像幀的背景中提取包括所恢復(fù)的腳部區(qū)域的前景人類對象。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制電路還被配置為：

檢測輸入深度圖像中不存在深度值的多個(gè)區(qū)域；以及

通過中值濾波器和均勻?yàn)V波器來平滑所述輸入深度圖像，以填充所述多個(gè)區(qū)域處的深度值并減少所述輸入深度圖像中的噪聲。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制電路還被配置為基于所述輸入深度圖像來確定所生成的點(diǎn)云中的每個(gè)點(diǎn)的三維3D坐標(biāo)。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述控制電路還被配置為基于針對在所述輸入彩色圖像幀中捕獲的所述場景所生成的點(diǎn)云的所述多個(gè)點(diǎn)中的感興趣點(diǎn)和所述感興趣點(diǎn)的兩個(gè)相鄰點(diǎn)的三維3D坐標(biāo)，計(jì)算從所生成的點(diǎn)云中的多個(gè)點(diǎn)投影的多個(gè)向量，其中，基于與所計(jì)算的多個(gè)向量中的每個(gè)向量相關(guān)聯(lián)的取向信息，將與所生成的點(diǎn)云中的所述多個(gè)點(diǎn)相關(guān)聯(lián)的所計(jì)算的多個(gè)向量聚類到所述向量聚類集合。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，所述控制電路還被配置為基于與在所述輸入彩色圖像幀中捕獲的所述場景相關(guān)聯(lián)的所述向量聚類集合，檢測在所述輸入彩色圖像幀中捕獲的所述場景的多個(gè)平面。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述控制電路還被配置為基于與在所述輸入彩色圖像幀中捕獲的場景相關(guān)聯(lián)的所述向量聚類集合來生成平面圖，其中，所述輸入彩色圖像幀的圖像域中的所檢測到的多個(gè)平面被映射以生成所述平面圖。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述平面圖包括基于與所述平面圖中的每個(gè)像素相關(guān)聯(lián)的相同取向信息而在所述平面圖中的所檢測到的多個(gè)平面的不同平面中分組的像素，而不考慮在所述場景的所述輸入彩色圖像幀的所述圖像域中，所述像素在所述平面圖中的空間定位。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述控制電路還被配置為基于所述平面圖中的面積大小小于所述圖像域中的第一閾值像素?cái)?shù)量的多個(gè)隔離區(qū)域的面積大小來檢測所述平面圖中的所檢測到的多個(gè)平面中的多個(gè)隔離區(qū)域。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述控制電路還被配置為消除所述平面圖中的所檢測到的多個(gè)隔離區(qū)域，之后通過中值濾波器的平滑操作來平滑小于所述圖像域中的第二閾值像素?cái)?shù)量的所檢測到的多個(gè)隔離區(qū)域。

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述控制電路還被配置為針對所述場景的從所述平面圖中的所檢測到的多個(gè)平面中選擇距離參考高度的最低平面，其中，所述參考高度對應(yīng)于捕獲所述場景的所述彩色圖像幀序列的所述第一類型傳感器的高度，并且其中，所述平面圖中的所檢測到的多個(gè)平面中的所選擇的最低平面是在所述輸入彩色圖像幀中捕獲的所述場景的地平面。