[發明專利]基于原圖像和動態信息融合的息屏畫面生成方法

有效

• 申請號: 202110343946.8
• 申請日: 2021-03-31
• 公開（公告）號: CN112733835B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 盧杰驊;盧桂榮
• 申請（專利權）人: 杭州科技職業技術學院
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 馬驍

1.一種基于原圖像和動態信息融合的息屏畫面生成方法，其特征在于，包括：獲取用戶當前自定義的手機息屏界面的圖像和待添加的動態信息，所述待添加的動態信息包括多條文本形式的動態信息；將所述手機息屏界面的圖像作為輸入圖像通過深度卷積神經網絡以獲得原圖像特征圖；將所述多條文本形式的動態信息中各條動態信息分別轉化為文本向量，以獲得多個文本向量；將所述多個文本向量分別通過多個全連接層進行編碼，以獲得多個文本特征向量，其中，所述多個全連接層中最后一個全連接層的輸出位數與所述原圖像特征圖的寬度或者高度維度相同；將所述原圖像特征圖分別與所述多個文本特征向量中每個文本特征向量進行矩陣相乘，以獲得多個動態信息特征向量；將所述多個動態信息特征向量按樣本維度進行拼接之后再進行插值，以獲得與所述原圖像特征圖具有相同維度的動態信息特征圖；將所述動態信息特征圖與所述原圖像特征圖融合，以獲得融合特征圖；將所述融合特征圖輸入生成器網絡，以獲得新的基于源圖像的生成圖像；

其中，將所述多條文本形式的動態信息中各條動態信息分別轉化為文本向量，以獲得多個文本向量，包括：將所述多條文本形式的動態信息中各條動態信息分別通過詞嵌入模型，以獲得多個文本向量；

其中，將所述多個動態信息特征向量按樣本維度進行拼接之后再進行插值，以獲得與所述原圖像特征圖具有相同維度的動態信息特征圖，包括：將所述多個動態信息特征向量按樣本維度進行拼接，以獲得拼接矩陣；對所述拼接矩陣以所述原圖像特征圖的全局平均值進行插值，以獲得與所述原圖像特征圖具有相同維度的動態信息特征圖；

其中，將所述動態信息特征圖與所述原圖像特征圖融合，以獲得融合特征圖，包括：以預設權重計算所述動態信息特征圖與所述原圖像特征圖之間的按像素位置的加權和，以獲得融合特征圖。

2.根據權利要求1所述的基于原圖像和動態信息融合的息屏畫面生成方法，其中，所述深度卷積神經網絡為深度殘差神經網絡。

3.根據權利要求1所述的基于原圖像和動態信息融合的息屏畫面生成方法，其中，所述生成器網絡為對抗生成網絡，所述對抗生成網絡的訓練過程，包括：將已完成的動態信息添加的圖像作為參考圖像通過所述深度卷積神經網絡以獲得參考特征圖；將所述參考特征圖與所述融合特征圖輸入對抗生成網絡以獲得鑒別器損失函數值；以及以所述鑒別器損失函數值對所述對抗生成網絡進行訓練。

4.根據權利要求1所述的基于原圖像和動態信息融合的息屏畫面生成方法，進一步包括：將所述待添加的動態信息中圖標類的圖像數據添加到所述生成圖像中。