[發明專利]基于原圖像和動態信息融合的息屏畫面生成方法

有效

• 申請號: 202110343946.8
• 申請日: 2021-03-31
• 公開（公告）號: CN112733835B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 盧杰驊;盧桂榮
• 申請（專利權）人: 杭州科技職業技術學院
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 馬驍

本申請公開了一種基于原圖像和動態信息融合的息屏畫面生成方法，其包括：獲取用戶當前手機息屏界面的圖像和待添加的動態信息；將所述手機息屏界面的圖像通過深度卷積神經網絡以獲得原圖像特征圖；將所述動態信息轉化為文本向量，以獲得多個文本向量；將所述多個文本向量通過多個全連接層進行編碼，以獲得多個文本特征向量；將所述原圖像特征圖與所述每個文本特征向量進行矩陣相乘，以獲得多個動態信息特征向量；將所述多個動態信息特征向量按樣本維度進行拼接之后再進行插值，以獲得動態信息特征圖；將所述動態信息特征圖與所述原圖像特征圖融合，以獲得融合特征圖；以及，將所述融合特征圖輸入生成器網絡，以獲得生成圖像。

技術領域

本發明涉及深度學習和神經網絡技術領域，且更為具體地，涉及一種基于原圖像和動態信息融合的息屏畫面生成方法、基于原圖像和動態信息融合的息屏畫面生成系統和電子設備。

背景技術

隨著OLED顯示屏被應用于終端設備（例如，智能手機等），其為智能手機的屏幕顯示功能多樣化提供新的硬件支持。 相較于LCD顯示屏， OLED顯示屏具有獨特的“只點亮部分屏幕像素”的硬件能力，因此，在智能手機處于滅屏狀態下，OLED顯示屏可只允許小部分像素常亮，以實現AOD息屏顯示功能。

在智能手機處于息屏狀態下，OLED屏幕上仍可顯示工作時鐘和一些常用提示信息，以使得終端設備的用戶比較少地按下電源鍵點亮整個屏幕來查看時鐘盒和有沒有來電等提示性消息。但是，應用于智能手機的息屏界面僅顯示固定內容，效果單一。

因此，期待一種生成可動態變化的AOD息屏界面的技術方案。

目前，深度學習以及神經網絡已經廣泛應用于計算機視覺、自然語言處理、文本信號處理等領域。此外，深度學習以及神經網絡在圖像分類、物體檢測、語義分割、文本翻譯等領域，也展現出了接近甚至超越人類的水平。

深度學習以及神經網絡的發展為生成可動態變化的AOD息屏界面提供了新的解決思路和方案。

發明內容

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種基于原圖像和動態信息融合的息屏畫面生成方法、基于原圖像和動態信息融合的息屏畫面生成系統和電子設備，其基于卷積神經網絡的圖像生成器的方案，將用戶當前自定義的手機息屏界面的圖像和可以添加的動態信息在高維抽象空間中進行融合，以生成新的基于原圖像的生成圖像，通過這樣的方式，向目前的手機息屏界面添加符合原圖像的動態信息，可以提升AOD的趣味性和互動性。

根據本申請的一個方面，提供了一種基于原圖像和動態信息融合的息屏畫面生成方法，其包括：

獲取用戶當前自定義的手機息屏界面的圖像和待添加的動態信息，所述待添加的動態信息包括多條文本形式的動態信息；

將所述手機息屏界面的圖像作為輸入圖像通過深度卷積神經網絡以獲得原圖像特征圖；

將所述多條文本形式的動態信息中各條動態信息分別轉化為文本向量，以獲得多個文本向量；

將所述多個文本向量分別通過多個全連接層進行編碼，以獲得多個文本特征向量，其中，所述多個全連接層中最后一個全連接層的輸出位數與所述原圖像特征圖的寬度或者高度維度相同；

將所述原圖像特征圖分別與所述多個文本特征向量中每個文本特征向量進行矩陣相乘，以獲得多個動態信息特征向量；

將所述多個動態信息特征向量按樣本維度進行拼接之后再進行插值，以獲得與所述原圖像特征圖具有相同維度的動態信息特征圖；

將所述動態信息特征圖與所述原圖像特征圖融合，以獲得融合特征圖；以及將所述融合特征圖輸入生成器網絡，以獲得新的基于源圖像的生成圖像。