[發明專利]一種基于多線索融合的手部分割方法

在審

• 申請號: 202210306836.9
• 申請日: 2022-03-25
• 公開（公告）號: CN114862894A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 沈晶;張靖欣;劉海波;陳云杰;王海楓;劉宜柱;劉志堯
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06T7/194;G06T7/11;G06T7/12;G06T7/13;G06T7/181;G06T7/90;G06T7/254;G06T5/00;G06T5/50;G06V40/16;G06V40/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多線索融合的手部分割方法，其特征在于，具體步驟如下：

S1：使用幀差法提取色差超過一定閾值的像素，實現運動目標分割；將動態視頻的前后兩幀相減并轉換成灰度圖像；提取其中灰度差超過move_thres的元素；

S2：使用K近鄰背景建模提取背景，將原圖像減掉該背景獲得前景fgMask；

S3：使用YCrCb空間膚色分割方法分割手部區域，形成手部膚色區域掩膜skin_mask，Cr通道圖像Cr_hand_image，同時需要考慮臉部膚色干擾，使用人臉檢測方法去除臉部膚色區域；首先將圖像進行高斯濾波去除噪聲并將圖像顏色空間轉換到YCrCb空間；YCrCb膚色分割的閾值Cr_threshold需要自己設置，其中Cr值也可以通過大津法對Cr通道進行閾值分割；若自動分割閾值小于閾值Cr_threshold則容易將背景分割進來，此時仍然采用設置閾值分割來確定；最后使用人臉檢測方法將人臉膚色部分去除得到skin_mask，將Cr通道圖像去除人臉區域獲得Cr_hand_image；

S4:生成包含完整前景且在膚色區的掩膜；將Cr_hand_image與skin_mask進行與操作將膚色區圖像skin_segment分割出來(此時可能還有接近膚色的區域)，如果使用了背景建模則將前景fgMask與skin_mask進行與操作得到背景差分與膚色分割交疊區，并且進行形態學操作對結果進行空洞填充得到包含完整前景且膚色區的掩膜fgYCrHand；

S5：使用分水嶺分割生成白色邊界，以抑制洪泛填充時與背景粘連；首先對步驟S4中的skin_mask進行形態學開運算得到opening，之后使用上述掩膜進行膨脹操作得到確定為背景區域的掩膜sure_bg；將進行開運算后的圖像進行L2距離變換并進行閾值分割獲得確定為前景區域的掩膜sure_fg；sure_bg與sure_fg進行減運算獲得邊界區域unknown，此區域和輪廓區域的關系未知；之后對sure_fg中的八連通區域進行標號并將其中unknown對應的區域位置像素值設為0，該掩膜設為markers；最后將YCrCb彩色圖像和markers使用分水嶺算法得到結果；將skin_segment中在markers對應為輪廓像素點的位置設置為白色以阻隔填充；另外，若skin_segment中存在人臉膚色區域也應將人臉區域邊界設置為白色；

S6：獲取S4中fgYCrHand的輪廓集fg_contours并對其按照輪廓面積進行逆序排序，之后在每個輪廓中選取種子對skin_segment進行洪泛填充；首先對輪廓是否位于人臉區域進行判斷，若不在人臉區域則進行以下操作：

在輪廓中一點選擇它附近的8鄰域點作為種子，并且測試點是否在輪廓內部；若滿足上述條件則計算skin_segment在輪廓內的顏色中心mode_color(即對應輪廓內顏色直方圖的眾數對應的Cr像素值)；計算新的Cr下限值lowCr＝max(mode_color-scale,minCr)和新的Cr通道膚色上限upCr＝min(maxCr,mode_color+scale)，其中minCr和maxCr為預設定值；如果種子點像素值大于lowCr則將種子點與lowCr相減作為與種子點像素值差異的下界；同樣的，如果種子點像素值小于等于upCr則將upCr與種子點像素值相減作為與種子點像素值差異的上界；上下兩界在洪泛填充時作為參數；填充后的掩膜fill_mask是前景且為膚色區的掩膜；

S7：分割結果融合；將S1步驟使用幀差法得到的圖像和步驟S4的skin_mask在S6步驟產生的fill_mask內進行與操作，得到最終的手部分割區域。

2.根據權利要求1所述的基于多線索融合的手部分割方法，其特征在于，步驟S1中move_thres取值為5。

3.根據權利要求1所述的基于多線索融合的手部分割方法，其特征在于，步驟S2中K值取為500。