[發明專利]靜態圖像獲取方法、系統和電子設備

在審

• 申請號: 202111107862.0
• 申請日: 2021-09-22
• 公開（公告）號: CN113763445A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 胡瑋
• 申請（專利權）人: 黎川縣凡帝科技有限公司
• 主分類號: G06T7/41
• 分類號: G06T7/41;G06T5/50;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及圖像處理領域，具體地公開了一種靜態圖像獲取方法、系統和電子設備，其使用基于卷積神經網絡的圖像生成器技術來補償在通過短視頻或者動態圖像的多個圖像幀進行圖像合成時的背景變化信息，通過這樣的方式，來提升靜態圖像的背景真實度。

技術領域

本發明涉及微服務集群的數據存儲領域，且更為具體地，涉及一種靜態圖像獲取方法、系統和電子設備。

背景技術

隨著移動終端的攝像功能的成熟，越來越多的短視頻通過用戶產生，并且，也出現了通過靜態圖像進行動態化處理來生成動態圖像或者短視頻的技術。但是，相對地，從動態圖像或者短視頻中反向生成靜態圖像的技術并沒有得到深入研究。

這里，從動態圖像或者短視頻反向生成靜態圖像主要是要考慮動態圖像或者短視頻中的各個視頻幀之間的差異信息，這些差異信息除了各個幀之間隨著時間維度和空間維度導致的不同以外，也包括動態效果本身帶來的信息，也就是視頻處理中常提到的光流信息，其中的主要部分可以理解為是由于對象本身發生的運動而產生的背景變化信息。

在獲取靜態圖像時，如果在通過多個圖像幀進行圖像合成時，這種背景變化信息不能得到有效地處理，盡管對象本身的圖像質量可以通過圖像合成而得到加強，但是會顯著地降低靜態圖像的背景真實度。

因此，期望一種優化的靜態圖像合成方案。

發明內容

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種靜態圖像獲取方法、系統和電子設備，其使用基于卷積神經網絡的圖像生成器技術來補償在通過短視頻或者動態圖像的多個圖像幀進行圖像合成時的背景變化信息，通過這樣的方式，來提升靜態圖像的背景真實度。

根據本申請的一個方面，提供了一種靜態圖像獲取方法，其包括：

訓練階段，包括：

獲取作為訓練樣本的動態圖像或短視頻；

從所述動態圖像或短視頻中提取連續的多個圖像幀；

將所述多個圖像幀分別通過作為紋理提取器的第一卷積神經網絡以獲得對應于每個所述圖像幀的紋理特征圖；

基于各個所述圖像幀中的對象位置，分別將對應的所述紋理特征圖分割為對象紋理特征圖和背景紋理特征圖；

對每個所述圖像幀對應的對象紋理特征圖和背景紋理特征圖進行按通道維度的全局池化處理以獲得每個所述圖像幀的對象紋理隱向量和背景紋理隱向量；

計算每個所述圖像幀的所述對象紋理隱向量和所述背景紋理隱向量之間的差分，以獲得對應于每個所述圖像幀的用于表示以對象部分紋理為參考的背景部分紋理變化的差分向量；

將每個所述圖像幀輸入作為生成器的第二卷積神經網絡以獲得對應于每個所述圖像幀的特征圖；

計算每個所述圖像幀和與其對應的所述特征圖之間的均方差損失函數值；

計算每個所述圖像幀和與其對應的所述特征圖之間的差分以獲得差分圖，并計算所述差分圖與所述差分向量之間的交叉熵損失函數值；以及使用均方誤差損失函數值與交叉熵損失函數值的加權和來訓練第二卷積神經網絡；以及

預測階段，包括：

獲取待處理的動態圖像或短視頻；

從所述待處理的動態圖像或短視頻中獲取多個初始圖像幀；

將所述多個初始圖像幀分別通過經訓練階段訓練而成的作為生成器的所述第二卷積神經網絡以獲得多個處理后圖像幀；以及

將所述多個處理后圖像幀進行圖像合成，以獲得合成靜態圖像。