[發明專利]圖像處理方法、系統及電子設備

在審

• 申請號: 202111602632.1
• 申請日: 2021-12-24
• 公開（公告）號: CN114356084A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 李朝;林超;鄒朋成;章嘉倫;胡始昌
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/04845;G06N20/00;G06Q30/06
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈;柴艷波

1.一種圖像處理方法，其特征在于，包括：

響應于用戶通過客戶端針對一商品觸發的請求，確定商品圖及模特圖；

對所述商品圖及所述模特圖進行處理，得到模特展示所述商品的展示圖；

獲取反映所述商品特點的描述信息；

基于所述展示圖及所述描述信息，生成所述商品對應的多媒體展示信息。

2.根據權利要求1所述的方法，其特征在于，對所述商品圖及所述模特圖進行處理，得到模特展示所述商品的展示圖，包括：

獲取圖像處理模型，其中，所述圖像處理模型包括形變網絡和合成網絡；

將所述商品圖及所述模特圖輸入所述形變網絡，輸出按照所述模特圖中模特姿態對所述商品圖進行形變后的商品形變圖；

將所述商品形變圖及所述模特圖輸入所述合成網絡，輸出模特展示所述商品的展示圖。

3.根據權利要求2所述的方法，其特征在于，還包括：

利用第一訓練集，對所述圖像處理模型進行第一階段訓練；

確定模特樣本圖及所述模特樣本圖中模特展示第一樣本商品對應的樣本商品圖；

利用完成第一階段訓練的所述圖像處理模型，生成所述模特樣本圖中模特展示第二樣本商品的樣本展示圖；

將所述模特樣本圖、所述第一樣本商品對應的樣本商品圖及所述樣本展示圖作為第二訓練樣本集中的訓練樣本；

利用第二訓練集，對所述圖像處理模型進行第二階段訓練。

4.根據權利要求1至3中任一項所述的方法，其特征在于，獲取反映所述商品特點的描述信息，包括：

從所述商品圖中提取圖像特征；

獲取所述商品圖對應商品的商品信息；

基于所述商品信息，確定與所述商品相關的文本特征；

融合所述圖像特征及文本特征，得到融合信息；

根據所述融合信息，確定所述描述信息。

5.根據權利要求4所述的方法，其特征在于，基于所述商品信息，確定與所述商品相關的文本特征，包括：

從所述商品信息中提取第一文本特征；

從知識圖譜中選取與所述商品相關的詞條；

基于選取出的詞條，確定第二文本特征。

6.根據權利要求5所述的方法，其特征在于，融合所述圖像特征及文本特征，得到融合信息，包括：

利用編碼網絡模型，分別對所述圖像特征、所述第一文本特征及所述第二文本特征進行編碼，得到對應的圖像特征向量、第一文本特征向量及第二文本特征向量；

基于注意力機制融合所述圖像特征向量、所述第一文本特征向量和所述第二文本特征向量，得到所述融合信息。

7.根據權利要求1至3中任一項所述的方法，其特征在于，基于所述展示圖及所述描述信息，生成所述商品對應的多媒體展示信息，包括：

根據所述描述信息，生成音頻；

獲取預設視頻；

將所述音頻及所述預設視頻輸入驅動模型，輸出所述預設視頻中目標對象嘴部按照所述音頻做出發音動作、面部按照所述音頻做出表情動作的驅動視頻；

利用所述驅動視頻，驅動所述展示圖中模特做出相應動作，得到展示動畫；

基于所述展示動畫及所述音頻，生成所述商品對應的多媒體展示信息。

8.根據權利要求7所述的方法，其特征在于，利用所述驅動視頻，驅動所述展示圖中模特做出相應動作得到所述展示動畫，包括：

對所述驅動視頻的圖像幀中的運動關鍵點進行提取；

根據提取出的各圖像幀的運動關鍵點信息及圖像幀的順序，確定相鄰圖像幀間的運動信息；

基于相鄰圖像幀間的運動信息，對所述展示圖中模特相應區域的像素點進行形變，得到一幀形變圖；

按照所述驅動視頻中圖像幀的順序，順序播放多幀形變圖，得到所述展示動畫。

9.一種圖像處理方法，其特征在于，包括：

獲取用戶輸入的模特展示商品的展示圖像；

獲取所述展示商品的描述信息；

根據所述描述信息及所述展示圖像，生成模特展示所述商品的展示視頻。