[發明專利]一種廣告視頻畫面裁剪的方法和系統

有效

• 申請號: 202010578632.1
• 申請日: 2020-06-23
• 公開（公告）號: CN111815645B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 陳萬鋒;李韶輝;謝統玲
• 申請（專利權）人: 廣州筷子信息科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/62
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種廣告視頻畫面裁剪的方法，其特征在于，包括以下步驟：

獲取待進行畫面裁剪的廣告視頻；

基于所述廣告視頻確定一個或多個鏡頭片段；

使用機器學習模型獲取每個所述鏡頭片段中的主體信息；所述主體信息用于至少反映主體的位置、尺寸、名稱、類別；

根據預設畫面尺寸以及所述主體信息，對所述鏡頭片段的畫面進行裁剪；

所述根據預設畫面尺寸以及所述主體信息，對所述鏡頭片段的畫面進行裁剪，包括：

獲取所述廣告視頻的主題信息；

根據所述主體信息和所述預設畫面尺寸，確定所述鏡頭片段中若干視頻幀的裁剪框的尺寸和位置；

所述根據所述主體信息和所述預設畫面尺寸，確定所述鏡頭片段中若干視頻幀的裁剪框的尺寸和位置，包括：

根據所述主題信息和所述主體信息，通過文本嵌入模型確定所述主體信息中的一個或多個主體與所述主題信息之間的相關度；

根據所述預設畫面尺寸和所述主體信息，確定與所述視頻幀對應的多個備選裁剪框；

根據所述主體信息和所述相關度，為所述多個備選裁剪框打分；

基于所述備選裁剪框的打分結果，確定所述視頻幀的裁剪框的尺寸和位置；

所述根據所述預設畫面尺寸和所述主體信息，確定與所述視頻幀對應的多個備選裁剪框包括：

在不包含任何主體的所述視頻幀內，設定一個備選裁剪框，所述備選裁剪框默認居中；

在包含至少一個主體的所述視頻幀內，設定多個備選裁剪框，所述多個備選裁剪框的參考點的位置和/或尺寸不同，所述多個備選裁剪框的寬高比相同；

所述根據所述主體信息和所述相關度，為所述多個備選裁剪框打分包括：

先為所述一個或多個主體中的每個主體打分，確定所述每個主體的得分；以所述每個主體與所述主體信息的相關度為權重，乘以對應所述每個主體的得分，再進行求和后得到所述一個或多個備選裁剪框中每一個的得分。

2.如權利要求1所述的方法，其特征在于，所述根據預設畫面尺寸以及所述主體信息，對所述鏡頭片段的畫面進行裁剪，包括：

根據所述主體信息和所述預設畫面尺寸，確定所述鏡頭片段中若干視頻幀的裁剪框的尺寸和初始位置；

對所述若干視頻幀的裁剪框的初始位置進行處理，確定所述若干視頻幀的裁剪框對應的最終位置；

根據所述裁剪框的最終位置，將所述鏡頭片段的各個視頻幀的畫面進行裁剪，以保留所述裁剪框內的畫面。

3.如權利要求2所述的方法，其特征在于，所述對所述若干視頻幀的裁剪框的初始位置進行處理，確定所述若干視頻幀的裁剪框對應的最終位置包括：

將所述鏡頭片段的若干所述視頻幀的裁剪框的參考點的初始坐標信息根據時間進行平滑處理；

根據所述平滑處理的結果，確定所述參考點的最終坐標信息；

基于所述最終坐標信息確定所述參考點的位置。

4.如權利要求3所述的方法，其特征在于，所述將所述參考點的初始坐標信息進行平滑處理包括：進行線性回歸處理，以獲取線性回歸方程及其斜率；

所述根據所述平滑處理的結果，確定所述參考點的最終坐標信息，包括：

當所述斜率的絕對值小于斜率閾值時，將線性回歸方程的趨勢線的中點的位置作為每個所述視頻幀的裁剪框的參考點的最終位置；

當所述斜率的絕對值大于等于斜率閾值時，則將所述線性回歸方程的趨勢線上每個視頻幀的時間點所對應的位置作為該視頻幀的裁剪框的參考點的最終位置。

5.如權利要求1所述的方法，其特征在于，所述使用機器學習模型獲取每個所述鏡頭片段中的所述主體信息；還包括：

使用機器學習模型獲取每個所述鏡頭片段中的候選主體；

根據所述主題信息，從所述候選主體中挑選出一個或多個所述主體。