[發明專利]多媒體資源生成方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202110598129.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113377971A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 王厚志;梅曉茸;張夢馨;劉旭東;葉小瑜;金夢;張德兵;郭曉鋒;周偉浩;張辰怡
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06F16/435;G06K9/62
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

本公開關于一種多媒體資源生成方法、裝置、電子設備以及存儲介質，屬于多媒體技術領域，該方法包括：基于用戶輸入的目標文本，從大量素材資源中獲取與目標文本相關的候選資源，并對目標文本進行關鍵詞提取，通過多模態匹配模型將候選資源與目標文本進行進一步匹配，進而獲取推薦資源，基于推薦資源快速、智能地為用戶生成目標多媒體資源，同時保證了所生成的目標多媒體資源與目標文本的相關性。

技術領域

本公開涉及多媒體技術領域，尤其涉及一種多媒體資源生成方法、裝置、電子設備以及存儲介質。

背景技術

隨著各種應用程序的種類不斷增加，廣告主需要基于自己的應用程序制作廣告，以實現對應用程序的推廣。多媒體資源包括圖片、視頻等資源，均可以作為一種廣告形式，實現對應用程序的推廣。對于小說應用程序，廣告主往往會根據一部小說的內容，將與小說內容相關的圖片作為廣告，并在圖片中設置小說應用程序的跳轉接口，從而達到吸引用戶下載小說應用程序的目的。

上述技術中，廣告主需要人工選取圖片，從中篩選與小說內容匹配的圖片，會花費大量的人力資源，成本較高，效率較低。

發明內容

本公開提供一種多媒體資源生成方法、裝置、電子設備以及存儲介質，能夠快速、智能地為用戶生成目標多媒體資源，同時保證了所生成的目標多媒體資源與目標文本的相關性。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種多媒體資源生成方法，該方法包括：

響應于接收到多媒體資源生成請求，獲取該多媒體資源生成請求攜帶的目標文本；

基于該目標文本的標簽，獲取多個候選資源，該候選資源為標簽與該目標文本的標簽的相似度符合第一判斷條件的素材資源；

基于該目標文本的關鍵詞信息，從該多個候選資源中確定至少一個推薦資源，該關鍵詞信息用于表示該目標文本中的關鍵詞，該推薦資源為與該目標文本之間的匹配參數符合匹配條件的候選資源；

基于該至少一個推薦資源，生成該目標文本對應的該目標多媒體資源。

在一些實施例中，該基于該目標文本的關鍵詞信息，從該多個候選資源中確定至少一個推薦資源，包括：

通過多模態匹配模型對該候選資源的特征和該目標文本的關鍵詞信息進行處理，得到該候選資源與目標文本的匹配參數，該多模態匹配模型基于樣本素材、樣本文本、樣本素材與樣本文本的匹配參數訓練得到；

基于該候選資源與該目標文本的匹配參數，從該多個候選資源中確定至少一個推薦資源。

在一些實施例中，該通過多模態匹配模型對該候選資源的特征和該目標文本的關鍵詞信息進行處理，得到該候選資源與目標文本的匹配參數包括：

該多模態匹配模型包括：第一全連接神經網絡、第二全連接神經網絡、雙向注意力模塊、第三全連接神經網絡、特征融合層和多層感知機；

該第一全連接神經網絡和該第二全連接神經網絡用于基于該候選資源的特征和該關鍵詞信息，獲取語義映射信息和關鍵詞映射信息；

該雙向注意力模塊用于基于該語義映射信息和該關鍵詞映射信息，獲取第一特征；

該第三全連接神經網絡用于基于該候選資源的特征和該關鍵詞信息，獲取第二特征和第三特征；

該特征融合層用于基于該第一特征、該第二特征和該第三特征，獲取第四特征；

該多層感知機用于基于該第四特征，獲取該候選資源與目標文本的匹配參數。

在一些實施例中，該通過多模態匹配模型對該候選資源的特征和該目標文本的關鍵詞信息進行處理，得到該候選資源與目標文本的匹配參數包括：