[發明專利]視頻插幀方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010089252.1
• 申請日: 2020-02-12
• 公開（公告）號: CN111327926B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 趙翔;李甫;何棟梁;孟驤龍;丁二銳;章宏武;文石磊;孫昊;朱曼瑜
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06N3/08;G06T5/50
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種視頻插幀方法，其特征在于，包括：

針對待處理的第一圖像和第二圖像，利用訓練得到的第一網絡模型獲取所述第一圖像到中間幀圖像的第一運動估計圖、所述第二圖像到中間幀圖像的第二運動估計圖以及遮擋估計圖；其中，所述第一圖像和所述第二圖像為視頻中的相鄰兩幀圖像，所述第一圖像為前一幀圖像，所述第二圖像為后一幀圖像；

根據所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖確定出插入到所述第一圖像和所述第二圖像之間的所述中間幀圖像；

其中，該方法進一步包括：設置M個不同的尺度，M為大于一的正整數，按照從小到大的順序依次為尺度S_M～尺度S₁，S₁＝1，每一尺度分別為后一尺度的1/2，對于任一尺度Si，1≤i≤M，表示將所述第一圖像和所述第二圖像的長和寬的尺寸分別調整為原始尺寸的1/2^i-1；將不同尺度的第一圖像和第二圖像分別輸入所述第一網絡模型，結合不同尺度下所述第一網絡模型中的各中間特征圖獲取所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖。

2.根據權利要求1所述的方法，其特征在于，

所述將不同尺度的第一圖像和第二圖像分別輸入所述第一網絡模型，結合不同尺度下所述第一網絡模型中的各中間特征圖獲取所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖包括：

將所述第一圖像和所述第二圖像下采樣到所述尺度S_M后輸入所述第一網絡模型；

按照從小到大的順序，將所述尺度S_M的后一尺度作為待處理尺度，并執行以下預定處理：

將所述第一圖像和所述第二圖像下采樣到所述待處理尺度后輸入所述第一網絡模型；將所述待處理尺度的前一尺度下所述第一網絡模型中的各中間特征圖分別進行2倍的上采樣，將上采樣后的各中間特征圖分別與所述待處理尺度下所述第一網絡模型中的各同等尺寸的中間特征圖進行融合；

若不存在所述待處理尺度的后一尺度，則獲取所述待處理尺度下所述第一網絡模型輸出的所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖，否則，將所述待處理尺度的后一尺度作為待處理尺度，重復執行所述預定處理。

3.根據權利要求2所述的方法，其特征在于，

所述將所述第一圖像和所述第二圖像下采樣到所述尺度S_M后輸入所述第一網絡模型之后，進一步包括：獲取所述尺度S_M下所述第一網絡模型中的各中間特征圖中的尺寸最小的中間特征圖對應的評估概率，若所述評估概率小于預定閾值，則獲取所述尺度S_M下所述第一網絡模型輸出的所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖，否則，繼續之后的處理；

所述將所述待處理尺度的后一尺度作為待處理尺度之前，進一步包括：獲取所述待處理尺度下所述第一網絡模型中的各中間特征圖中的尺寸最小的中間特征圖對應的評估概率，若所述評估概率小于所述閾值，則獲取所述待處理尺度下所述第一網絡模型輸出的所述第一運動估計圖、所述第二運動估計圖以及所述遮擋估計圖，否則，繼續之后的處理。

4.根據權利要求2所述的方法，其特征在于，

所述將上采樣后的各中間特征圖分別與所述待處理尺度下所述第一網絡模型中的各同等尺寸的中間特征圖進行融合包括：

針對所述待處理尺度下所述第一網絡模型中的每一中間特征圖，分別進行以下處理：針對所述中間特征圖中的每一像素點，分別將所述像素點的取值與上采樣后與所述中間特征圖同等尺度的中間特征圖中的對應像素點的取值相加，將相加之和除以2，將得到的商賦值給所述像素點，其中，所述對應像素點為位置相同的像素點。

5.根據權利要求3所述的方法，其特征在于，

獲取所述尺寸最小的中間特征圖對應的評估概率包括：將所述尺寸最小的中間特征圖輸入訓練得到的第二網絡模型，得到輸出的所述評估概率。