[發明專利]圖像補全方法及裝置

有效

• 申請號: 201810259048.2
• 申請日: 2018-03-27
• 公開（公告）號: CN108470326B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 陳志軍
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 代治國

1.一種圖像補全方法，其特征在于，包括：

獲取當前正在播放的視頻圖像幀；

獲取第i幀圖像中待補全的標識區域；所述待補全的標識區域包括特定類標識；所述i是大于1的整數；

獲取所述第i幀之前的前m幀圖像中已補全的m個標識區域；所述m大于1且小于i；

根據所述已補全的m個標識區域，補全所述待補全的標識區域中的特定類標識；

所述根據所述已補全的m個標識區域，補全所述待補全的標識區域中的特定類標識包括：

將所述特定類標識從所述待補全的標識區域中摳除，得到第i幀摳圖；

按照預設規則，逐層下采樣所述第i幀摳圖，直到第n層第一下采樣圖的各個像素都是非空，得到所述n層第一下采樣圖；所述n是整數；

按照所述預設規則，逐層下采樣所述已補全的m個標識區域，得到每個已補全的標識區域的n層第二下采樣圖；

根據所述每個已補全的標識區域的n層第二下采樣圖和所述n層第一下采樣圖，逆序逐層補全所述n層第一下采樣圖，所述n是大于或等于0的整數；

其中，所述第0層第一下采樣圖是所述第i幀摳圖；已補全的第0層第一下采樣圖是已補全的第i幀摳圖；

所述將所述特定類標識的像素從第i幀圖像中摳除，得到第i幀摳圖包括：

獲取所述特定類標識占所述待補全的標識區域的面積比率；

當所述面積比率大于預設閾值時，將所述特定類標識從所述待補全的標識區域中摳除，得到所述第i幀摳圖；

當所述面積比率小于或等于所述預設閾值時，通過圖像修復inpainting算法補全所述待補全的標識區域。

2.根據權利 要求1所述的方法，其特征在于，對于第j層，所述根據所述每個已補全的標識區域的n層第二下采樣圖和所述n層第一下采樣圖，逆序逐層補全所述n層第一下采樣圖中的標識區域包括：

獲取第j已補全圖像；所述第j已補全圖是已補全的第j層第一下采樣圖；

對所述第j已補全圖像進行上采樣，得到第j-1圖像；

根據塊匹配算法，從所述第j-1圖像、所述每個已補全的標識區域的第j-1層第二下采樣圖中匹配出與所述第j-1層下采樣圖的標識區域最相似的匹配區域；

用所述匹配區域、第j-1圖像補全所述第j-1層第一下采樣圖，得到第j-1已補全圖像。

3.根據權利要求1所述的方法，其特征在于，所述獲取第i幀圖像中待補全的標識區域，包括：

通過預設分類模型，分別檢測出視頻的每一幀圖像中對應的標識區域；

其中，所述預設分類模型是通過樣本訓練出來的。

4.一種圖像補全裝置，其特征在于，包括：

第一獲取模塊，用于獲取當前正在播放的視頻圖像幀；

第二獲取模塊，用于獲取第i幀圖像中待補全的標識區域；所述待補全的標識區域包括特定類標識；所述i是大于1的整數；

第三獲取模塊，用于獲取所述第i幀之前的前m幀圖像中已補全的m個標識區域；所述m大于1且小于i；

補全模塊，用于根據所述已補全的m個標識區域，補全所述待補全的標識區域中的特定類標識；

所述補全模塊包括：

扣除子模塊，用于將所述特定類標識從所述待補全的標識區域中摳除，得到第i幀摳圖；

第一下采樣子模塊，用于按照預設規則，逐層下采樣所述第i幀摳圖，直到第n層第一下采樣圖的各個像素都是非空，得到所述n層第一下采樣圖；所述n是整數；

第二下采樣子模塊，用于按照所述預設規則，逐層下采樣所述已補全的m個標識區域，得到每個已補全的標識區域的n層第二下采樣圖；

補全子模塊，用于根據所述每個已補全的標識區域的n層第二下采樣圖和所述n層第一下采樣圖，逆序逐層補全所述n層第一下采樣圖，所述n是大于或等于0的整數；

其中，所述第0層第一下采樣圖是所述第i幀摳圖；已補全的第0層第一下采樣圖是已補全的第i幀摳圖；

所述扣除子模塊用于：

獲取所述特定類標識占所述待補全的標識區域的面積比率；

當所述面積比率大于預設閾值時，將所述特定類標識從所述待補全的標識區域中摳除，得到所述第i幀摳圖；

當所述面積比率小于或等于所述預設閾值時，通過圖像修復inpainting算法補全所述待補全的標識區域。