[發明專利]一種媒體內容植入方法、模型訓練方法以及相關裝置

有效

• 申請號: 202010412331.1
• 申請日: 2020-05-15
• 公開（公告）號: CN111556337B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 凌永根;張浩賢
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/81;G06N3/04
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 聶秀娜

1.一種媒體內容植入的方法，其特征在于，包括：

獲取目標視頻和目標媒體內容，所述目標視頻包括第一視頻幀和第二視頻幀，所述第一視頻幀中包含指示初始植入區域的模板圖像，所述第二視頻幀中包含待植入區域；

將所述第一視頻幀和所述第二視頻幀輸入目標網絡模型，以得到圖像變換參數，所述目標網絡模型包括多個依次關聯的子網絡層，所述多個依次關聯的子網絡層分別用于基于所述第一視頻幀和所述第二視頻幀生成不同分辨率下的子變換參數，所述子變換參數之間相互關聯且用于得到所述圖像變換參數；

在所述第二視頻幀中根據所述圖像變換參數將所述待植入區域映射為目標植入區域，所述目標植入區域與所述初始植入區域相關聯；

在所述目標植入區域中植入所述目標媒體內容。

2.根據權利要求1所述的方法，其特征在于，所述子網絡層包括采樣層和更新層，所述將所述第一視頻幀和所述第二視頻幀輸入目標網絡模型，以得到圖像變換參數，包括：

將所述第一視頻幀和所述第二視頻幀輸入所述采樣層，以得到多個分辨率大小的圖像對；

基于所述圖像對獲取所述不同分辨率下的子變換參數；

將所述不同分辨率下的子變換參數分別輸入對應所述子網絡層的更新層，以得到所述圖像變換參數，所述更新層之間逐級關聯。

3.根據權利要求2所述的方法，其特征在于，所述將所述不同分辨率下的子變換參數分別輸入對應所述子網絡層的更新層，以得到所述圖像變換參數，包括：

將所述不同分辨率下的子變換參數按照所述分辨率的次序依次分別輸入對應所述子網絡層的更新層以獲取對應的圖像對應參數；

若所述圖像對應參數滿足預設條件，則確定對應的子變換參數為所述圖像變換參數。

4.根據權利要求2所述的方法，其特征在于，所述子網絡層還包括特征提取層，所述基于所述圖像對獲取所述不同分辨率下的子變換參數，包括：

將所述圖像對分別輸入對應所述子網絡層的特征提取層，以得到所述圖像對的特征圖；

根據所述特征圖確定所述圖像對的運動信息，所述運動信息用于指示所述圖像對的區域匹配情況；

根據所述運動信息確定所述子變換參數。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

根據所述運動信息確定所述圖像對中的遮擋區域；

根據所述遮擋區域確定掩模參數，所述掩模參數用于指示所述目標植入區域的更新。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

根據預設分辨率調整所述圖像對，以得到精細圖像對；

將所述精細圖像對進行至少一次遞歸循環，以對所述掩模參數進行更新。

7.根據權利要求4所述的方法，其特征在于，所述方法還包括：

將多個所述圖像對的運動信息輸入檢測網絡，以得到置信參數；

根據所述置信參數觸發對應的界面元素，所述界面元素位于所述目標植入區域所處的界面。

8.根據權利要求2所述的方法，其特征在于，所述根據第一視頻幀和所述第二視頻幀輸入所述采樣層，以得到多個分辨率大小的圖像對，包括：

將所述第一視頻幀和所述第二視頻幀輸入所述采樣層；基于上一層的子變換參數得到多個分辨率大小的圖像對。

9.根據權利要求1所述的方法，其特征在于，所述目標媒體內容為廣告，所述目標網絡模型為金字塔網絡模型，所述圖像變換參數為單應矩陣。

10.一種網絡模型訓練的方法，其特征在于，包括：

獲取數據訓練集，所述數據訓練集包括多個訓練圖像，所述訓練圖像中包含模板區域；

根據所述模板區域確定多個形變圖像和圖像變換參數，所述形變圖像中包含與所述模板區域相對應的擾動區域；

將所述圖像變換參數、所述模板區域和所述擾動區域輸入初始網絡模型進行訓練，以得到目標網絡模型，所述目標網絡模型用于執行權利要求1-9任一項所述的媒體內容植入的方法。