[發(fā)明專(zhuān)利]對(duì)圖像中水流區(qū)域識(shí)別并生成動(dòng)態(tài)水流視頻的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010436118.4
• 申請(qǐng)日: 2020-05-21
• 公開(kāi)（公告）號(hào): CN111627098B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 林青山
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州光錐元信息科技有限公司
• 主分類(lèi)號(hào): G06T15/00
• 分類(lèi)號(hào): G06T15/00;G06T15/87;G06T7/11;G06T7/136;G06N3/0464;H04N5/262
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 譚承世

本發(fā)明涉及一種對(duì)圖像中水流區(qū)域識(shí)別并生成動(dòng)態(tài)水流視頻的方法及裝置，包括對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)參數(shù)模型；將神經(jīng)網(wǎng)絡(luò)參數(shù)模型載入到移動(dòng)客戶(hù)端，利用移動(dòng)客戶(hù)端獲取原始圖像，并根據(jù)原始圖像，確定待處理的圖像；將待處理的圖像輸入神經(jīng)網(wǎng)絡(luò)參數(shù)模型中，神經(jīng)網(wǎng)絡(luò)參數(shù)模型將待處理的圖像轉(zhuǎn)化為水流區(qū)域alpha分割圖，得到第一圖像；對(duì)第一圖像進(jìn)行縮放處理，得到第二圖像；對(duì)第二圖像進(jìn)行動(dòng)態(tài)化渲染處理，得到第三圖像；利用視頻編碼器和視頻合成器對(duì)第三圖像進(jìn)行處理，輸出具有動(dòng)態(tài)水流效果的視頻；本發(fā)明能夠提升水流區(qū)域識(shí)別的準(zhǔn)確度和運(yùn)算速度，同時(shí)對(duì)現(xiàn)有的靜態(tài)圖片水流區(qū)域的動(dòng)態(tài)化進(jìn)行真實(shí)感提升和渲染速度提升的優(yōu)化。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種對(duì)圖像中水流區(qū)域識(shí)別并生成動(dòng)態(tài)水流視頻的方法及裝置。

背景技術(shù)

目前市面上對(duì)靜態(tài)圖像中水流區(qū)域識(shí)別方式有：首先基于YCRBCR空間、HSV空間、RGB空間的一些水流區(qū)域識(shí)別算法，將圖像中的水流區(qū)域識(shí)別出來(lái)，此類(lèi)方法在水流與周?chē)h(huán)境區(qū)分度較大的情況下識(shí)別較好，但是運(yùn)算速度慢，識(shí)別出來(lái)的水流區(qū)域有較強(qiáng)的邊緣感，且對(duì)于水流區(qū)域與周?chē)h(huán)境顏色較為接近的情況下識(shí)別準(zhǔn)確性很低，會(huì)出現(xiàn)識(shí)別不到水流區(qū)域或多識(shí)別了周?chē)h(huán)境的情況。

目前市面上對(duì)于使靜態(tài)圖片水流區(qū)域動(dòng)態(tài)化的方式有：對(duì)水流區(qū)域使用貼圖平移，此類(lèi)方法確實(shí)可以讓水流區(qū)域動(dòng)態(tài)化，但是欠缺真實(shí)感；又或者對(duì)水流區(qū)域使用進(jìn)行網(wǎng)格化，使用波動(dòng)方程模擬水流的波動(dòng)，此方法可以很好的模擬動(dòng)態(tài)水流真實(shí)感十足，但是此方法計(jì)算波動(dòng)方程的速度較慢，不能達(dá)到實(shí)時(shí)渲染的效果。

相關(guān)技術(shù)中，對(duì)靜態(tài)圖片中水流區(qū)域識(shí)別的準(zhǔn)確度和運(yùn)算速度均比較低，將其進(jìn)行動(dòng)態(tài)化的真實(shí)感較低且渲染速度慢。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種對(duì)圖像中水流區(qū)域識(shí)別并生成動(dòng)態(tài)水流視頻的方法及裝置，以解決現(xiàn)有技術(shù)中對(duì)于水流區(qū)域與周?chē)h(huán)境顏色較為接近的情況下識(shí)別準(zhǔn)確性很低、使靜態(tài)圖片水流區(qū)域動(dòng)態(tài)化的方式計(jì)算速度較慢，不能達(dá)到實(shí)時(shí)渲染的效果的問(wèn)題。

為實(shí)現(xiàn)以上目的，本發(fā)明采用如下技術(shù)方案：一種對(duì)圖像中水流區(qū)域識(shí)別并生成動(dòng)態(tài)水流視頻的方法，包括：

對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)參數(shù)模型；

將所述神經(jīng)網(wǎng)絡(luò)參數(shù)模型載入到移動(dòng)客戶(hù)端，利用所述移動(dòng)客戶(hù)端獲取原始圖像，并根據(jù)所述原始圖像，確定待處理的圖像；

將所述待處理的圖像輸入所述神經(jīng)網(wǎng)絡(luò)參數(shù)模型中，所述神經(jīng)網(wǎng)絡(luò)參數(shù)模型將所述待處理的圖像轉(zhuǎn)化為水流區(qū)域alpha分割圖，得到第一圖像；

對(duì)所述第一圖像進(jìn)行縮放處理，得到第二圖像；

對(duì)所述第二圖像進(jìn)行動(dòng)態(tài)化渲染處理，得到第三圖像；

利用視頻編碼器和視頻合成器對(duì)第三圖像進(jìn)行處理，輸出具有動(dòng)態(tài)水流效果的視頻。

進(jìn)一步的，所述對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)參數(shù)模型，包括：

獲取水流圖片，并根據(jù)所述水流圖片確定待處理的水流圖片；

對(duì)所述待處理的水流圖片進(jìn)行處理，得到掩碼分割圖；其中，所述掩碼分割圖為黑白圖片，白色區(qū)域表示水流區(qū)域，黑色區(qū)域表示非水流區(qū)域；

采用摳像算法處理所述掩碼分割圖，得到alpha分割圖；

將所述水流圖片、掩碼分割圖、alpha分割圖進(jìn)行調(diào)整至預(yù)設(shè)尺寸以構(gòu)成訓(xùn)練數(shù)據(jù)；

將所述訓(xùn)練數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理，得到精細(xì)alpha分割圖；

初始化神經(jīng)網(wǎng)絡(luò)，采用交叉熵?fù)p失函數(shù)計(jì)算預(yù)測(cè)的alpha分割圖與得到的精細(xì)alpha分割圖之間的圖像數(shù)據(jù)損失，根據(jù)所述圖像數(shù)據(jù)損失再采用自適應(yīng)估計(jì)矩陣算法更新神經(jīng)網(wǎng)絡(luò)參數(shù)；