[發(fā)明專利]視頻幀的處理方法和裝置有效
| 申請?zhí)枺?/td> | 202010320935.3 | 申請日： | 2020-04-22 |
| 公開（公告）號： | CN111524166B | 公開（公告）日： | 2023-06-30 |
| 發(fā)明（設(shè)計(jì)）人： | 林天威;李鑫;李甫;何棟梁;孫昊;張赫男 | 申請（專利權(quán)）人： | 北京百度網(wǎng)訊科技有限公司 |
| 主分類號： | G06V20/40 | 分類號： | G06V20/40;G06V10/62;G06V10/80;G06T7/269;H04N21/44;H04N21/234 |
| 代理公司： | 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204 | 代理人： | 王達(dá)佐;馬曉亞 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 視頻 處理 方法 裝置 | ||
1.一種視頻幀的處理方法，所述方法包括：
利用基于視頻中相鄰的在先幀和在后幀生成的光流，對所述在先幀的特征圖進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后特征圖；
基于所述光流的誤差，確定所述轉(zhuǎn)換后特征圖的權(quán)重，以及基于所述轉(zhuǎn)換后特征圖和所述在后幀的特征圖之間的特征的加權(quán)結(jié)果，得到融合特征圖；
更新所述在后幀的特征圖，其中，更新后的特征圖為所述融合特征圖；
所述光流為密集光流；
所述基于所述光流的誤差，確定所述轉(zhuǎn)換后特征圖的權(quán)重，包括：
利用所述密集光流，對縮小后在先幀進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后在先幀；
基于每個(gè)坐標(biāo)的像素點(diǎn)在所述轉(zhuǎn)換后在先幀和所述縮小后在后幀之間的像素值的差值，確定所述密集光流在該坐標(biāo)的像素點(diǎn)的誤差；
對于指定圖像利用所述密集光流進(jìn)行變換后得到的圖像中該坐標(biāo)的像素點(diǎn)，判斷在所述指定圖像中是否存在包括相同對象的像素點(diǎn)，得到判斷結(jié)果，所述指定圖像的尺寸為目標(biāo)尺寸；
基于所述密集光流的誤差和所述判斷結(jié)果，確定所述轉(zhuǎn)換后特征圖中該坐標(biāo)的像素點(diǎn)的權(quán)重。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：
將所述在先幀和所述在后幀縮小至特征圖的尺寸，確定縮小后在先幀與縮小后在后幀之間的密集光流，并將該密集光流作為所述基于視頻中相鄰的在先幀和在后幀生成的光流。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述對于指定圖像利用所述密集光流進(jìn)行變換后得到的圖像中該坐標(biāo)的像素點(diǎn)，判斷在所述指定圖像中是否存在包括相同對象的像素點(diǎn)，得到判斷結(jié)果，其中，所述指定圖像的尺寸為所述目標(biāo)尺寸，包括：
獲取每個(gè)像素點(diǎn)的像素值均為預(yù)設(shè)像素值的指定圖像；
利用所述密集光流，對所述指定圖像進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后指定圖像；
對于轉(zhuǎn)換后指定圖像中的每個(gè)坐標(biāo)的像素點(diǎn)，判斷所述轉(zhuǎn)換后指定圖像中該坐標(biāo)的像素點(diǎn)的像素值是否大于或等于所述預(yù)設(shè)像素值；
若所述轉(zhuǎn)換后指定圖像中該坐標(biāo)的像素點(diǎn)的像素值大于或等于所述預(yù)設(shè)像素值，則確定所述判斷結(jié)果為存在包括相同對象的像素點(diǎn)；
若所述轉(zhuǎn)換后指定圖像中該坐標(biāo)的像素點(diǎn)的像素值未大于或等于所述預(yù)設(shè)像素值，則確定所述判斷結(jié)果為不存在包括相同對象的像素點(diǎn)。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述密集光流的誤差和所述判斷結(jié)果，確定所述轉(zhuǎn)換后特征圖中該坐標(biāo)的像素點(diǎn)的權(quán)重，包括：
響應(yīng)于確定所述密集光流的誤差小于指定誤差閾值，且所述判斷結(jié)果為存在包括相同對象的像素點(diǎn)，確定所述轉(zhuǎn)換后特征圖中該坐標(biāo)的像素點(diǎn)的權(quán)重為第一候選權(quán)重，其中，所述縮小后在后幀中該坐標(biāo)的像素點(diǎn)的像素值越大，則所述指定誤差閾值越大；
響應(yīng)于確定所述密集光流的誤差不小于指定誤差閾值，和/或所述判斷結(jié)果為不存在包括相同對象的像素點(diǎn)，確定所述轉(zhuǎn)換后特征圖中該坐標(biāo)的像素點(diǎn)的權(quán)重為第二候選權(quán)重，其中，所述第一候選權(quán)重大于所述第二候選權(quán)重。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：
根據(jù)所述轉(zhuǎn)換后特征圖的權(quán)重以及所述在后幀的特征圖的權(quán)重，對所述轉(zhuǎn)換后特征圖和所述在后幀的特征圖進(jìn)行特征的加權(quán)，得到所述轉(zhuǎn)換后特征圖和所述在后幀的特征圖之間的特征的加權(quán)結(jié)果，其中，所述轉(zhuǎn)換后特征圖的權(quán)重越大，則所述在后幀的特征圖的權(quán)重越小。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：
利用生成對抗網(wǎng)絡(luò)，生成視頻的在后幀的特征圖和在先幀的特征圖；以及
所述方法還包括：
利用生成對抗網(wǎng)絡(luò)處理更新后的特征圖，生成與所述在后幀對應(yīng)的、目標(biāo)域的圖像。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京百度網(wǎng)訊科技有限公司，未經(jīng)北京百度網(wǎng)訊科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010320935.3/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
