[發(fā)明專利]圖像處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111041464.3
• 申請日: 2021-09-07
• 公開（公告）號(hào): CN113496225B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 任旭華;孫子荀
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06V10/22
• 分類號(hào): G06V10/22;G06V20/62;G06V10/26;G06V10/56;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取待合成文本和待合成圖像，包括：從文本數(shù)據(jù)庫中獲取與目標(biāo)場景相關(guān)聯(lián)的參考文本，根據(jù)所述參考文本確定待合成文本；從圖像數(shù)據(jù)庫中獲取與所述目標(biāo)場景相關(guān)聯(lián)的參考圖像，根據(jù)所述參考圖像確定待合成圖像；

根據(jù)所述待合成圖像生成背景圖像，其中，當(dāng)所述待合成圖像包括字符信息時(shí)，所述背景圖像是根據(jù)去除掉所述字符信息的待合成圖像生成的；

獲取所述背景圖像的輔助圖像特征，并根據(jù)所述輔助圖像特征確定所述待合成文本的顯示特征；

根據(jù)所述顯示特征將所述待合成文本和所述背景圖像進(jìn)行合成，得到合成文本圖像；

其中，所述獲取所述背景圖像的輔助圖像特征，并根據(jù)所述輔助圖像特征確定所述待合成文本的顯示特征，包括：

提取所述背景圖像的顏色特征信息和紋理特征信息，根據(jù)所述顏色特征信息和所述紋理特征信息對所述背景圖像進(jìn)行區(qū)域分割處理，得到所述背景圖像的第一區(qū)域分割圖；獲取所述背景圖像的深度特征圖；將所述深度特征圖和所述第一區(qū)域分割圖確定為所述背景圖像的輔助圖像特征；

根據(jù)所述第一區(qū)域分割圖，確定所述待合成文本在所述背景圖像中的顯示區(qū)域；根據(jù)所述深度特征圖，確定所述背景圖像中所述顯示區(qū)域的深度信息，并根據(jù)所述深度信息確定所述待合成文本的顯示深度；將所述顯示區(qū)域和所述顯示深度確定為所述待合成文本的顯示特征；

其中，所述顯示深度用于指示所述待合成文本的各部分在所述顯示區(qū)域中對應(yīng)的像素點(diǎn)的深度值，所述深度值用于指示像素點(diǎn)與圖像采集器之間的距離；按照所述顯示深度將所述待合成文本和所述背景圖像進(jìn)行合成后，所述待合成文本貼合所述顯示區(qū)域中的顯示對象進(jìn)行顯示；

其中，所述獲取所述背景圖像的深度特征圖，包括：利用深度圖提取模型對所述背景圖像進(jìn)行處理，得到所述背景圖像的深度特征圖；所述深度圖提取模型是基于U型卷積神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)構(gòu)建生成的。

2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

提取所述背景圖像的亮度特征信息，根據(jù)所述亮度特征信息對所述背景圖像進(jìn)行區(qū)域分割處理，得到所述背景圖像的第二區(qū)域分割圖；其中，所述輔助圖像特征還包括所述第二區(qū)域分割圖；

根據(jù)所述第二區(qū)域分割圖，確定所述背景圖像中所述顯示區(qū)域的亮度信息，并根據(jù)所述亮度信息確定所述待合成文本的顯示亮度；其中，所述顯示特征還包括所述顯示亮度。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述待合成圖像生成背景圖像，包括：

當(dāng)所述待合成圖像中存在字符信息時(shí)，對所述待合成圖像進(jìn)行字符清除，并針對字符清除區(qū)域進(jìn)行圖像填充；

根據(jù)字符信息清除且圖像填充后的待合成圖像生成背景圖像。

4.如權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

確定所述合成文本圖像中所述待合成文本的文本位置；

將所述合成文本圖像、所述待合成文本和所述文本位置組成樣本數(shù)據(jù)對，并根據(jù)所述樣本數(shù)據(jù)對生成訓(xùn)練數(shù)據(jù)集；

利用所述訓(xùn)練數(shù)據(jù)集對初始文本檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的文本檢測模型。

5.如權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

獲取與所述目標(biāo)場景相關(guān)聯(lián)的待檢測文本圖像；

將所述待檢測文本圖像輸入所述訓(xùn)練后的文本檢測模型中進(jìn)行處理，得到所述待檢測文本圖像的文本檢測結(jié)果；

其中，所述文本檢測結(jié)果包括識(shí)別文本內(nèi)容、識(shí)別文本位置和所述文本檢測結(jié)果的識(shí)別準(zhǔn)確度中的一種或者多種。