[發(fā)明專利]一種基于多線索融合的手部分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210306836.9
• 申請(qǐng)日: 2022-03-25
• 公開（公告）號(hào): CN114862894A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 沈晶;張靖欣;劉海波;陳云杰;王海楓;劉宜柱;劉志堯
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T7/136
• 分類號(hào): G06T7/136;G06T7/194;G06T7/11;G06T7/12;G06T7/13;G06T7/181;G06T7/90;G06T7/254;G06T5/00;G06T5/50;G06V40/16;G06V40/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明的目的是為克服手部分割在復(fù)雜背景條件下分割效果較差的問題而提供的一種基于多線索融合的手部分割方法。現(xiàn)有技術(shù)中存在的問題與不足，導(dǎo)致手部分割的分割效果不盡人意。首先，手部分割的背景形式多變、受到外部其他物體運(yùn)動(dòng)干擾多，使手部分割的結(jié)果與真實(shí)分割結(jié)果之間存在一定的偏差。本發(fā)明采用多線索融合的手部分割方法，通過使用YCrCb空間膚色分割、幀差法、背景提取計(jì)算分割區(qū)域，利用分水嶺算法抑制原始YCrCb分割結(jié)果在進(jìn)行洪泛填充時(shí)手部與背景粘連，對(duì)求出的分割區(qū)域進(jìn)行與操作，求出最終的手部分割區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于多線索融合的手部分割方法，屬于計(jì)算機(jī)手勢(shì)識(shí)別領(lǐng)域。

背景技術(shù)

手勢(shì)識(shí)別在工業(yè)控制、交通運(yùn)輸、國防安全等領(lǐng)域的實(shí)際應(yīng)用越來越廣。真實(shí)環(huán)境復(fù)雜程度高、不確定性強(qiáng)、自然因素(如背景、光照)干擾多，手部分割面臨諸多挑戰(zhàn)。現(xiàn)有的手部分割方法主要有兩類：一類是基于手部顏色空間特征、形狀特征的方法，顏色上使用基于CIELAB、HSV、CIELUV、IHLS、RGB、SKN、YCbCr等的顏色空間。形狀上會(huì)使用邊緣檢測(cè)方法提取輪廓，同時(shí)也使用SIFT、HOG描述符加機(jī)器學(xué)習(xí)算法來進(jìn)行分割。除此之外，還有基于像素的顏色特征，紋理特征和圖像的鄰域特征并使用隨機(jī)森林作為分類器的手部分割方法；一類是基于深度學(xué)習(xí)的方法，如基于語義分割網(wǎng)絡(luò)U-Net、SegNet的手部分割和使用多任務(wù)SegNet同時(shí)進(jìn)行手指區(qū)域分割和指尖檢測(cè)等。還有一些方法使用深度圖像或者深度圖像搭配RGB圖像作為輸入，能夠獲得相比于只使用RGB作為輸入更好的準(zhǔn)確率。基于手部顏色空間特征的方法雖然計(jì)算快速，但是準(zhǔn)確性不高。容易受到背景顏色的干擾。上述提到的顏色空間中，YCbCr是膚色分割效果最好的顏色空間，但是仍然容易受到背景的干擾。基于形狀特征的方法容易受到方位與角度的影響。基于深度學(xué)習(xí)的方法首先需要一個(gè)較大的數(shù)據(jù)集進(jìn)行訓(xùn)練，且對(duì)數(shù)據(jù)集的標(biāo)注非常耗時(shí)。另外，深度學(xué)習(xí)方法有時(shí)受到光照的影響也比較大，光照較暗時(shí)會(huì)出現(xiàn)大片應(yīng)分割出的手部區(qū)域沒有被分割的現(xiàn)象。并且即使使用GPU進(jìn)行推理，相較傳統(tǒng)方法耗時(shí)仍然相對(duì)較長。在實(shí)際應(yīng)用中對(duì)于同時(shí)出現(xiàn)的大量手勢(shì)識(shí)別需求無法進(jìn)行實(shí)時(shí)處理。另外，語義分割方法對(duì)于輸入圖像的質(zhì)量要求很高，如果利用云邊協(xié)同的方式進(jìn)行識(shí)別可能造成網(wǎng)絡(luò)流量過大。有些方法還使用深度攝像頭作為輸入，導(dǎo)致完成手勢(shì)識(shí)別任務(wù)需要的成本更高。

發(fā)明目的

本發(fā)明的目的是為克服手部分割在復(fù)雜背景條件下分割效果較差的問題而提供的一種基于多線索融合的手部分割方法。現(xiàn)有技術(shù)中存在的問題與不足，導(dǎo)致手部分割的分割效果不盡人意。首先，手部分割的背景形式多變、受到外部其他物體運(yùn)動(dòng)干擾多，使手部分割的結(jié)果與真實(shí)分割結(jié)果之間存在一定的偏差。本發(fā)明采用多線索融合的手部分割方法，通過使用YCrCb空間膚色分割、幀差法、背景提取計(jì)算分割區(qū)域，利用分水嶺算法抑制原始YCrCb分割結(jié)果在進(jìn)行洪泛填充時(shí)手部與背景粘連，對(duì)求出的分割區(qū)域進(jìn)行與操作，求出最終的手部分割區(qū)域。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

本發(fā)明提出了一種基于多線索融合的手部分割方法，該方法具有計(jì)算速度快、對(duì)復(fù)雜背景具有一定程度的抗干擾、對(duì)圖像質(zhì)量要求較低等優(yōu)點(diǎn)。具體步驟如下：

S1：使用幀差法提取色差超過一定閾值的像素，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)分割。將動(dòng)態(tài)視頻的前后兩幀相減并轉(zhuǎn)換成灰度圖像。提取其中灰度差超過move_thres的元素。

S2：使用K近鄰背景建模提取背景，將原圖像減掉該背景獲得前景fgMask。