[發(fā)明專利]基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911030874.0
• 申請(qǐng)日: 2019-10-28
• 公開(kāi)（公告）號(hào): CN110889855B
• 公開(kāi)（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 王軍華;錢彬;黃金;江帆;倪鳴;徐巍
• 申請(qǐng)（專利權(quán)）人: 公安部交通管理科學(xué)研究所
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/194
• 代理公司: 無(wú)錫市大為專利商標(biāo)事務(wù)所(普通合伙) 32104
• 代理人: 曹祖良;陳麗麗

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體公開(kāi)了一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法，其中，包括：將證件人像照片的摳圖蒙版中的前景圖與互聯(lián)網(wǎng)照片進(jìn)行合成得到訓(xùn)練圖像；根據(jù)輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)模型生成粗分割Trimap圖網(wǎng)絡(luò)；根據(jù)編解碼網(wǎng)絡(luò)對(duì)粗分割Trimap圖網(wǎng)絡(luò)進(jìn)行精細(xì)化摳圖，得到精細(xì)化摳圖網(wǎng)絡(luò)；將粗分割Trimap圖網(wǎng)絡(luò)和精細(xì)化摳圖網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián)，得到端到端網(wǎng)絡(luò)模型；將訓(xùn)練圖像輸入端到端網(wǎng)絡(luò)模型進(jìn)行微調(diào)，得到完成訓(xùn)練的端到端網(wǎng)絡(luò)模型。本發(fā)明還公開(kāi)了一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖系統(tǒng)、存儲(chǔ)介質(zhì)及處理器。本發(fā)明提供的基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法能夠自動(dòng)對(duì)證件照得到對(duì)應(yīng)的摳圖前景，無(wú)需人工標(biāo)注，提高了摳圖效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法、一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖系統(tǒng)、存儲(chǔ)介質(zhì)及處理器。

背景技術(shù)

證件照是一種用來(lái)證明證件持有者身份的照片，常見(jiàn)于各種證件上，例如身份證、護(hù)照、駕照等。隨著社會(huì)的發(fā)展，人們辦理的各種證件種類也在不斷增加，有些證件照對(duì)照片背景的顏色有著嚴(yán)格的限制。比如，辦理赴美簽證和赴中國(guó)臺(tái)灣通行證時(shí)要求簽證用的照片采用白色背景，辦理農(nóng)村養(yǎng)老金申領(lǐng)表格中則要求申請(qǐng)人員的證件照采用紅色背景。為了實(shí)現(xiàn)人物證件照自動(dòng)換底，即自由替換人物證件照中的背景顏色，需要對(duì)照片進(jìn)行摳圖處理。另一方面，隨著手機(jī)等智能移動(dòng)設(shè)備的大范圍普及，越來(lái)越多的人使用手機(jī)來(lái)拍攝和制作證件照。相比于照相館等專業(yè)制作場(chǎng)景，移動(dòng)設(shè)備拍攝的證件照片容易受到光線和背景物的干擾，往往需要后期精細(xì)的手工操作來(lái)進(jìn)行摳圖，耗時(shí)耗力，因此亟需一種證件照自動(dòng)摳圖算法來(lái)實(shí)現(xiàn)有效的摳圖。

傳統(tǒng)的摳圖算法采用一種基于交互式的方法來(lái)實(shí)現(xiàn)，典型的有GrabCut、閉式摳圖、泊松摳圖、KNN摳圖等，這些方法在摳圖過(guò)程中需要用戶輸入額外的摳圖信息形成Trimap圖來(lái)輔助摳圖，Trimap圖的質(zhì)量對(duì)最終的摳圖結(jié)果起到了非常重要的作用。由于拍攝環(huán)境、拍攝技術(shù)以及人們自身發(fā)型、衣服顏色等因素，用戶提供的照片可能存在曝光不均勻、模糊、聚焦不清、頭發(fā)絲散亂等問(wèn)題，現(xiàn)有的研究成果在處理這類照片時(shí)需要用戶進(jìn)行大量的人工標(biāo)注才能取得良好的摳圖效果。如何根據(jù)現(xiàn)有算法成果，設(shè)計(jì)一種高效的端到端自動(dòng)摳圖算法成為了一個(gè)難題。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法、一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖系統(tǒng)、存儲(chǔ)介質(zhì)及處理器，解決相關(guān)技術(shù)中存在的證件照自動(dòng)摳圖效率低的問(wèn)題。

作為本發(fā)明的第一個(gè)方面，提供一種基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法，其中，所述基于端到端卷積神經(jīng)網(wǎng)絡(luò)的證件照摳圖方法包括：

將證件人像照片的摳圖蒙版中的前景圖與互聯(lián)網(wǎng)照片進(jìn)行合成得到訓(xùn)練圖像，其中所述證件人像照片的摳圖蒙版為對(duì)所述證件人像照片進(jìn)行人工精細(xì)摳圖獲得；

根據(jù)輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)模型生成粗分割Trimap圖網(wǎng)絡(luò)；

根據(jù)編解碼網(wǎng)絡(luò)對(duì)所述粗分割Trimap圖網(wǎng)絡(luò)進(jìn)行精細(xì)化摳圖，得到精細(xì)化摳圖網(wǎng)絡(luò)；

將所述粗分割Trimap圖網(wǎng)絡(luò)和所述精細(xì)化摳圖網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián)，得到端到端網(wǎng)絡(luò)模型；

將所述訓(xùn)練圖像輸入所述端到端網(wǎng)絡(luò)模型進(jìn)行微調(diào)，得到完成訓(xùn)練的端到端網(wǎng)絡(luò)模型，其中所述完成訓(xùn)練的端到端網(wǎng)絡(luò)模型能夠用于對(duì)輸入的證件照進(jìn)行摳圖。

進(jìn)一步地，所述將證件人像照片的摳圖蒙版中的前景圖與互聯(lián)網(wǎng)照片進(jìn)行合成得到訓(xùn)練圖像，包括：

分別采集證件人像照片以及不含人像的互聯(lián)網(wǎng)照片；

獲取每張證件人像照片的摳圖蒙版；

將所述不含人像的互聯(lián)網(wǎng)照片作為背景圖與所述證件人像照片的摳圖蒙版中的前景圖進(jìn)行合成，得到所述訓(xùn)練圖像。

進(jìn)一步地，合成所述訓(xùn)練圖像的合成公式為：