[發(fā)明專利]基于支撐語(yǔ)義關(guān)系的室內(nèi)RGB-D圖像物體分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711174607.1
• 申請(qǐng)日: 2017-11-22
• 公開（公告）號(hào): CN107909576B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 陳昊天;張彪;郭迎港;孫鳳池
• 申請(qǐng)（專利權(quán)）人: 南開大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T7/60
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

一種基于支撐語(yǔ)義關(guān)系的室內(nèi)RGB?D圖像物體分割方法，該圖像物體分割方法包括以下步驟：1)通過(guò)幾何體質(zhì)量構(gòu)造單個(gè)物體的勢(shì)能函數(shù)，根據(jù)勢(shì)能函數(shù)構(gòu)造單個(gè)物體的不穩(wěn)定函數(shù)，進(jìn)而構(gòu)造全局能量函數(shù)；2)以物體的幾何體為節(jié)點(diǎn)、支撐語(yǔ)義關(guān)系為邊、支撐概率為邊概率構(gòu)造隨機(jī)圖，根據(jù)隨機(jī)圖和全局能量函數(shù)，分割識(shí)別強(qiáng)支撐語(yǔ)義關(guān)系；3)將存在強(qiáng)支撐語(yǔ)義關(guān)系的物體塊作為同一物體的不同部分加以合并。本發(fā)明通過(guò)識(shí)別物體間抽象的支撐語(yǔ)義關(guān)系，彌補(bǔ)豐富的物體形態(tài)所造成的先驗(yàn)知識(shí)不完備的問題，利用強(qiáng)支撐語(yǔ)義關(guān)系將同一物體被過(guò)度分割的部分重新合并起來(lái)，從而提高RGB?D圖像中物體分割的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理和智能機(jī)器人的交叉領(lǐng)域，尤其涉及一種基于支撐語(yǔ)義關(guān)系的室內(nèi)RGB-D(顏色-深度)圖像物體分割方法。

背景技術(shù)

現(xiàn)有技術(shù)中對(duì)室內(nèi)RGB-D圖像物體分割通常包括以下幾種方法：

1、Beyond point clouds:scene understanding by reasoning geometry andphysics^[1]：

該方法對(duì)場(chǎng)景點(diǎn)云數(shù)據(jù)進(jìn)行幾何和物理推理，利用SWC(Swendsen-Wang cuts)算法通過(guò)補(bǔ)全三維體元和估計(jì)體元總體穩(wěn)定性的方式來(lái)進(jìn)行物體分割。但，該方法并沒有利用顏色信息，并且沒有針對(duì)先驗(yàn)知識(shí)不完備的情況。在先驗(yàn)知識(shí)不完備，特征選擇不完善，或者數(shù)據(jù)的標(biāo)注過(guò)程中存在錯(cuò)標(biāo)，漏標(biāo)的情況，該方法不能正常的完成對(duì)圖像的分割。

2、Detecting potential falling objects by inferring human action andnatural disturbance^[2]：

該方法對(duì)物體的位姿穩(wěn)定性進(jìn)行建模，通過(guò)模擬人所產(chǎn)生的場(chǎng)和自然災(zāi)害所產(chǎn)生的場(chǎng)來(lái)檢測(cè)潛在可能墜落的物體。該方法針對(duì)的是室外的災(zāi)難環(huán)境，沒有針對(duì)室內(nèi)正常環(huán)境，限制了應(yīng)用的場(chǎng)合。

3、3D voxel HOG and risk estimation^[3]和A 3D scene analysis frameworkand descriptors for risk evaluation^[4]：

采用三維體元的HOG(方向梯度直方圖)特征，通過(guò)訓(xùn)練Adaboost分類器來(lái)獲得物體危險(xiǎn)指數(shù)，進(jìn)而評(píng)估環(huán)境中的風(fēng)險(xiǎn)。該方法主要針對(duì)小范圍的物體，沒有針對(duì)大范圍的物體，限制了應(yīng)用的局限性。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于支撐語(yǔ)義關(guān)系的室內(nèi)RGB-D圖像物體分割方法，本發(fā)明通過(guò)識(shí)別物體間抽象的支撐語(yǔ)義關(guān)系，彌補(bǔ)豐富的物體形態(tài)所造成的先驗(yàn)知識(shí)不完備的問題，利用強(qiáng)支撐語(yǔ)義關(guān)系將同一物體被過(guò)度分割的部分重新合并起來(lái)，從而提高RGB-D圖像中物體分割的準(zhǔn)確性，詳見下文描述：

一種基于支撐語(yǔ)義關(guān)系的室內(nèi)RGB-D圖像物體分割方法，所述圖像物體分割方法包括以下步驟：

1)通過(guò)幾何體質(zhì)量構(gòu)造單個(gè)物體的勢(shì)能函數(shù)，根據(jù)勢(shì)能函數(shù)構(gòu)造單個(gè)物體的不穩(wěn)定函數(shù)，進(jìn)而構(gòu)造全局能量函數(shù)；

2)以物體的幾何體為節(jié)點(diǎn)、支撐語(yǔ)義關(guān)系為邊、支撐概率為邊概率構(gòu)造隨機(jī)圖，根據(jù)隨機(jī)圖和全局能量函數(shù)，分割識(shí)別強(qiáng)支撐語(yǔ)義關(guān)系；

3)將存在強(qiáng)支撐語(yǔ)義關(guān)系的物體塊作為同一物體的不同部分加以合并。

上述步驟1)中的構(gòu)造全局能量函數(shù)具體為：

結(jié)合單個(gè)物體的不穩(wěn)定函數(shù)、以及懲罰項(xiàng)構(gòu)造全局能量函數(shù)。

所述全局能量函數(shù)具體為：