[發(fā)明專利]手部運(yùn)動(dòng)模糊自動(dòng)摳圖及在人體軟分割和背景更換的應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 201910356476.1
• 申請(qǐng)日: 2019-04-29
• 公開(kāi)（公告）號(hào): CN110136163B
• 公開(kāi)（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 趙曉梅;吳毅紅
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06T7/215
• 分類號(hào): G06T7/215;G06T3/00;G06T15/50
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

1.一種手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，包括：

步驟S10，獲取運(yùn)動(dòng)模糊的手部圖像作為輸入圖像；

步驟S20，基于所述輸入圖像，通過(guò)手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)，獲取手部摳圖alpha結(jié)果圖；所述手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)為基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建并訓(xùn)練的用于對(duì)運(yùn)動(dòng)模糊圖像自動(dòng)進(jìn)行手部摳圖的網(wǎng)絡(luò)；

步驟S30，將獲取的手部摳圖alpha結(jié)果圖輸出；

其中，所述手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)，其訓(xùn)練方法為：

步驟B10，獲取手部運(yùn)動(dòng)模糊圖像集及其對(duì)應(yīng)的真值標(biāo)注圖像集作為訓(xùn)練圖像集；

步驟B20，隨機(jī)選取所述手部運(yùn)動(dòng)模糊圖像集中一個(gè)圖像，通過(guò)手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)，獲取運(yùn)動(dòng)模糊的手部摳圖alpha結(jié)果圖；

步驟B30，將所述手部摳圖alpha結(jié)果圖與其對(duì)應(yīng)的真值標(biāo)注圖進(jìn)行對(duì)比計(jì)算總損失函數(shù)值，并采用誤差反傳的方法更新所述手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)的權(quán)重；

步驟B40，重復(fù)執(zhí)行步驟B20-步驟B30，直至達(dá)到預(yù)設(shè)的訓(xùn)練結(jié)束條件，獲得訓(xùn)練好的手部運(yùn)動(dòng)模糊自動(dòng)摳圖網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，步驟B10中“手部運(yùn)動(dòng)模糊圖像集及其對(duì)應(yīng)的真值標(biāo)注圖像集”采用虛擬圖像生成的方法獲得，該方法為：

步驟B101，獲取包含手和手臂的圖像，生成對(duì)應(yīng)的二值掩膜圖；

步驟B102，基于所述二值掩膜圖，通過(guò)與手部運(yùn)動(dòng)旋轉(zhuǎn)關(guān)節(jié)邊緣相切的圓圈標(biāo)注所述手部運(yùn)動(dòng)旋轉(zhuǎn)關(guān)節(jié)；

步驟B103，以標(biāo)注手部運(yùn)動(dòng)旋轉(zhuǎn)關(guān)節(jié)的圓圈為中心，將手和手臂相應(yīng)部位旋轉(zhuǎn)預(yù)設(shè)的角度N次，獲得N幅虛擬手部圖像以及N幅虛擬手部圖像對(duì)應(yīng)的掩膜圖；

步驟B104，將所述N幅虛擬手部圖像疊加，記做圖像Sum_I；將所述N幅虛擬手部圖像對(duì)應(yīng)的掩膜圖疊加，記做圖像Sum_M；

步驟B105，基于所述圖像Sum_I、圖像Sum_M，計(jì)算虛擬運(yùn)動(dòng)模糊手部前景圖像F：以及對(duì)應(yīng)的摳圖真值標(biāo)注圖α：

步驟B106，將所述虛擬運(yùn)動(dòng)手部前景圖像F與輸入的虛擬背景B疊加，獲得手部運(yùn)動(dòng)模糊圖像。

3.根據(jù)權(quán)利要求1所述的手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，所述總損失函數(shù)為：

其中，為損失函數(shù)值；為alpha損失函數(shù)；為合成損失函數(shù)；ω_α、ω_I為超參數(shù)，代表alpha損失、合成損失在總損失中的權(quán)重。

4.根據(jù)權(quán)利要求3所述的手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，所述alpha損失函數(shù)為：

其中，分別表示第i個(gè)像素位置摳圖alpha結(jié)果圖、摳圖真值標(biāo)注圖的像素值，M代表圖像中像素的總個(gè)數(shù)。

5.根據(jù)權(quán)利要求3所述的手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，所述合成損失函數(shù)為：

其中，分別表示第i個(gè)像素位置依據(jù)摳圖alpha結(jié)果圖得到的合成圖像、依據(jù)摳圖真值標(biāo)注圖得到的合成圖像的像素值，M代表圖像中像素的總個(gè)數(shù)。

6.根據(jù)權(quán)利要求5所述的手部運(yùn)動(dòng)模糊自動(dòng)摳圖方法，其特征在于，所述依據(jù)摳圖alpha結(jié)果圖得到的合成圖像、所述依據(jù)摳圖真值標(biāo)注圖得到的合成圖像，其獲取方法分別為：

I_p＝α_p·F+(1-α_p)·B

I_g＝α_g·F+(1-α_g)·B

其中，I_p、I_g分別代表依據(jù)摳圖alpha結(jié)果圖得到的合成圖像、依據(jù)摳圖真值標(biāo)注圖得到的合成圖像；α_p、α_g分別表示摳圖alpha結(jié)果圖、對(duì)應(yīng)真值標(biāo)注圖；F代表虛擬背景；B代表虛擬前景。