[發明專利]一種視頻內容結構化方法、裝置、終端設備及介質

有效

• 申請號: 202011217518.2
• 申請日: 2020-11-04
• 公開（公告）號: CN112040313B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 周凡
• 申請（專利權）人: 中山大學深圳研究院
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/439;H04N21/234;H04N21/233;G10L15/26;G10L15/04;G10L25/57;G06K9/62;G06K9/46
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 肖遙

1.一種視頻內容結構化方法，其特征在于，包括：

獲取目標視頻的視覺通道信息，基于所述視覺通道信息將所述目標視頻劃分為多個場景單元，所述多個場景單元包括多個場景邊界；

將所述目標視頻的語音轉換為語音文本，并將所述語音文本分割為多個文本塊；

分別計算每個文本塊的上下文關聯度；

根據所述上下文關聯度，分別計算所述每個文本塊的深度分數；

根據所述每個文本塊的深度分數，將所述目標視頻劃分為多個語音單元，所述語音單元的數量等于所述場景邊界的數量的預設倍數，所述多個語音單元包括多個語音邊界；

根據所述目標視頻的總時長、所述場景單元的個數以及所述多個文本塊，按照如下公式確定視頻主題個數：

其中，n為場景單元的個數，t為視頻總時長，st為視頻一個故事單元的平均時長，α、β和θ分別為經驗參數，σ為文本塊的深度分數的標準差，depthScore[i]表示第i個文本塊的深度分數，count(depthScore[i])表示文本塊的數量，TopicCount表示視頻主題個數；

根據所述視頻主題個數、所述多個場景邊界和所述多個語音邊界，確定所述目標視頻的視頻主題邊界；

根據所述視頻主題邊界，將所述目標視頻劃分為多個主題單元。

2.如權利要求1所述的方法，其特征在于，所述分別計算每個文本塊的上下文關聯度，包括：

分別提取所述每個文本塊的文本特征；

基于所述文本特征，采用如下公式計算所述每個文本塊的上下文關聯度：

其中，c表示所述每個文本塊，p表示與所述每個文本塊相鄰的前一文本塊，f表示與所述每個文本塊相鄰的后一文本塊，w_t,x表示x文本塊的文本特征的第t維度的值，x=c、p或f，s(c)表示所述每個文本塊的上下文關聯度。

3.如權利要求1所述的方法，其特征在于，所述根據所述每個文本塊的深度分數，將所述目標視頻劃分為多個語音單元，包括：

按照所述每個文本塊的深度分數，對所述多個文本塊進行排序；

根據排序結果，確定多個目標文本塊，所述目標文本塊的數量等于所述場景邊界的數量的預設倍數；

采用所述多個目標文本塊，將所述目標視頻劃分為多個語音單元。

4.如權利要求1所述的方法，其特征在于，所述根據所述視頻主題個數、所述多個場景邊界、所述多個語音邊界，確定所述目標視頻的視頻主題邊界，包括：

根據所述視頻主題個數，確定與所述視頻主題個數相同的邊界對個數；

將所述多個語音邊界和所述多個場景邊界分別映射到所述目標視頻的時間軸上；

分別計算所述多個場景邊界與每個所述語音邊界之間的多個時間間隔；

根據所述多個時間間隔，確定多個邊界對，每個所述邊界對包括一個語音邊界和一個場景邊界；

根據所述多個邊界對確定多個時間點，將所述多個時間點作為所述目標視頻的多個視頻主題邊界。

5.如權利要求4所述的方法，其特征在于，所述多個邊界對包括第一邊界對和第二邊界對，所述根據所述多個時間間隔，選取多個邊界對，包括：

確定所述多個時間間隔中最小的時間間隔所對應的第一場景邊界和第一語音邊界，將所述第一場景邊界和所述第一語音邊界作為第一邊界對；

刪除所述多個時間間隔中與所述第一場景邊界和/或所述第一語音邊界相關的時間間隔；

確定剩余時間間隔中最小的時間間隔所對應的第二場景邊界和第二語音邊界，將所述第二場景邊界和所述第二語音邊界作為第二邊界對。

6.如權利要求4所述的方法，其特征在于，根據所述多個邊界對，采用如下公式確定多個時間點：

其中，p_k表示視頻主題邊界對應的時間點，x_i表示第i個邊界對中場景邊界對應的時間點，y_i表示第i個邊界對中語音邊界對應的時間點，λ為權重值。