[發(fā)明專利]一種基于RGB-D約束的雙目圖像目標(biāo)分割方法和裝置

有效

• 申請?zhí)枺?/td>: 201810332846.3
• 申請日: 2018-04-13
• 公開（公告）號(hào): CN108830860B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 齊飛;朱暉;石光明;王鵬飛
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/194;G06K9/62;G06V10/74;G06V10/762
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 劉杰

本發(fā)明提供了一種基于RGB?D約束的雙目圖像目標(biāo)分割方法和裝置，通過獲得雙目圖像的視差信息；獲得所述雙目圖像的顏色數(shù)據(jù)模型；根據(jù)所述視差信息獲得視差圖的深度數(shù)據(jù)模型；計(jì)算所述雙目圖像相鄰像素點(diǎn)的相似性；獲得所述雙目圖像目標(biāo)分割的網(wǎng)絡(luò)流圖與能量函數(shù)表達(dá)式；根據(jù)計(jì)算所述能量函數(shù)的最小解獲得所述網(wǎng)絡(luò)流圖的分割結(jié)果，其中，所述網(wǎng)絡(luò)流圖的分割結(jié)果即所述雙目圖像的目標(biāo)分割結(jié)果。解決現(xiàn)有技術(shù)中雙目圖像目標(biāo)分割的準(zhǔn)確率較低、實(shí)時(shí)性差、完整性不太理想的技術(shù)問題，實(shí)現(xiàn)了減少概率計(jì)算的依賴性，增強(qiáng)概率模型的通用性，有助于提升分割的結(jié)果，同時(shí)考慮像素點(diǎn)的視差信息，利用前景和背景處于不同深度中的特征，提升分割結(jié)果的技術(shù)效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種基于RGB-D約束的雙目圖像目標(biāo)分割方法和裝置。

背景技術(shù)

雙目立體視覺能很好的對(duì)人的雙眼視覺系統(tǒng)進(jìn)行模擬，可以對(duì)三維世界進(jìn)行視覺感知，其中的一些研究成果已廣泛地應(yīng)用于我們的生產(chǎn)和生活中。其中，雙目圖像的目標(biāo)分割作為雙目立體視覺領(lǐng)域的重要研究方向之一，是提取雙目圖像中關(guān)鍵信息的重要步驟，在立體圖像的合成、三維圖像的重建、遙感圖像的分析、機(jī)器人智能控制等方面都有著重大的研究意義。可以應(yīng)用于AR/VR技術(shù)、三維攝像、3D電影、醫(yī)療、軍事、航天等諸多方面。雙目圖像中蘊(yùn)含著三維深度信息，是相比于單目圖像最大的優(yōu)勢所在。深度信息能更好的描述場景中的對(duì)象，更有效的表達(dá)前景和背景信息。

現(xiàn)有技術(shù)中雙目圖像目標(biāo)分割的準(zhǔn)確率較低、實(shí)時(shí)性差、完整性不太理想，分割結(jié)果精確度不高，分隔效果不好的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于RGB-D約束的雙目圖像目標(biāo)分割方法和裝置，解決現(xiàn)有技術(shù)中雙目圖像目標(biāo)分割的準(zhǔn)確率較低、實(shí)時(shí)性差、完整性不太理想，分割結(jié)果精確度不高，分隔效果不好的技術(shù)問題。

鑒于上述問題，提出了本申請實(shí)施例以便提供一種基于RGB-D約束的雙目圖像目標(biāo)分割方法和裝置。

第一方面，本發(fā)明提供了一種基于RGB-D約束的雙目圖像目標(biāo)分割方法，所述方法包括：

獲得雙目圖像的視差信息；獲得所述雙目圖像的顏色數(shù)據(jù)模型；根據(jù)所述視差信息獲得視差圖的深度數(shù)據(jù)模型；計(jì)算所述雙目圖像相鄰像素點(diǎn)的相似性；獲得所述雙目圖像目標(biāo)分割的圖模型與能量函數(shù)表達(dá)式；根據(jù)計(jì)算所述能量函數(shù)的最小解獲得網(wǎng)絡(luò)流圖的分割結(jié)果，其中，所述網(wǎng)絡(luò)流圖的分割結(jié)果即所述雙目圖像的目標(biāo)分割結(jié)果。

優(yōu)選地，獲得雙目圖像的視差信息，還包括：將輸入的雙目圖像進(jìn)行立體匹配，獲得所述雙目圖像匹配的代價(jià)函數(shù)；根據(jù)圖割法計(jì)算所述代價(jià)函數(shù)的最小解，估計(jì)視差圖。

優(yōu)選地，獲得所述雙目圖像的顏色數(shù)據(jù)模型，還包括：根據(jù)所述雙目圖像的顏色信息，利用聚類算法將所述雙目圖像中的像素分為若干類第一像素集；根據(jù)所述若干類第一像素集計(jì)算每類像素集顏色信息的均值、方差獲得第一混合高斯函數(shù)模型；根據(jù)第一混合高斯函數(shù)的表達(dá)式計(jì)算每個(gè)像素點(diǎn)的第一高斯分量，獲得顏色信息的高斯概率密度函數(shù)；根據(jù)所述顏色信息的高斯概率密度函數(shù)獲得每個(gè)像素點(diǎn)屬于前景和背景的第一概率。

優(yōu)選地，根據(jù)所述視差信息獲得視差圖的深度數(shù)據(jù)模型，還包括：根據(jù)所述視差信息，利用聚類算法將所述雙目圖像中的像素分為若干類第二像素集；根據(jù)所述若干類第二像素集計(jì)算每類像素集視差信息的均值、方差獲得第二混合高斯函數(shù)模型；根據(jù)第二混合高斯函數(shù)的表達(dá)式計(jì)算每個(gè)像素點(diǎn)的第二高斯分量，獲得深度信息的高斯概率密度函數(shù)；根據(jù)所述深度信息的高斯概率密度函數(shù)獲得每個(gè)像素點(diǎn)屬于前景和背景的第二概率。

優(yōu)選地，計(jì)算所述雙目圖像相鄰像素點(diǎn)的相似性，還包括：計(jì)算色彩空間兩個(gè)相鄰像素點(diǎn)的第一相似性；根據(jù)所述視差圖進(jìn)行特征變換，且在特征空間計(jì)算視差空間兩個(gè)相鄰像素點(diǎn)的第二相似性；根據(jù)所述第一相似性和第二相似性，計(jì)算RGB-D約束的兩個(gè)相鄰像素點(diǎn)的第三相似性。