[發明專利]一種視頻分段和標記的方法及裝置

有效

• 申請號: 202010625141.8
• 申請日: 2020-07-01
• 公開（公告）號: CN111757170B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 李鎖花;殷飛;何健;遲民強
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/4402;H04N21/4415;H04N21/442;H04N21/466;H04N21/472;H04N21/4728
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王雙;王琦

本申請公開了一種視頻的分段和標注方法，包括：將視頻內容按照場景進行分割，得到場景分割序列，為所述場景分割序列中的每個分段記錄對應的場景信息，并將所述場景信息加入標注信息；將視頻內容按照聲音進行分割，得到聲音分割序列，記錄相應的聲音類別，作為各分段的聲音信息，將聲音信息加入標注信息；和/或，將視頻內容按照熱度進行分割，得到熱度分割序列和相應分段的熱度信息，將所述熱度信息加入標記信息；將對所述視頻內容進行分割得到的各個分割序列中的所有分割點作為所述視頻內容的分割點，對所述視頻內容再次進行視頻分割，得到視頻分割序列，并按照各個分割序列中的標注信息，為所述視頻分割序列中的每個分段記錄對應的標注信息；根據所述視頻分割序列和各個分段對應的標注信息，顯示視頻內容的分段以及各分段的標注信息。

技術領域

本申請涉及視頻處理技術，特別涉及一種視頻分段和標記的方法及裝置。

背景技術

隨著視頻網站資源越來越豐富，用戶在觀看長視頻時(如電視劇/電影/綜藝節目/球賽時)，會通過手動拖動進度條或快速播放來節省時間。但是這些方法各有弊端：手動拖動進度條，可以跳躍到任意點播放，但是帶有盲目性，常常會錯過用戶本來感興趣的內容，不能精準播放；快速播放，會破壞視頻的意境，讓用戶沒法好好欣賞自己感興趣的內容。

為了給用戶提供更多視頻播放時的輔助信息，可以對視頻進行分割，并標注每個分段的信息，讓用戶可以預覽，在有限的時間內，播放自己感興趣的部分，跳過或者快速播放自己不感興趣的。更進一步地，還可以分析用戶的興趣點，計算每個片段的對用戶的推薦指數，以幫助用戶決策。

具體地，視頻內容結構按照語義層級的高低可分為鏡頭和場景。鏡頭是攝像機一次連續拍攝到的視頻片段。場景是由若干個在語義上相關的連續鏡頭組成的能夠表達共同語義內容的視頻片段。基于此，可以將視頻內容按照場景分割，場景分割的目標是要找到場景的時間邊界，將視頻按語義分割為多個場景片段。

現有的視頻場景分割技術主要利用視頻的視覺特征信息，通過分析視頻相鄰幀之間的相似度，先進行鏡頭分割，再根據鏡頭之間的相關性，相似的鏡頭合并，形成一定語義的場景，從而完成場景語義分割。在視頻分段標注時，目前的技術主要是利用關鍵幀的信息，從關鍵幀里提取文本信息，形成摘要，結合起始結束位置一起展示給用戶，用于定位和重點關注某目標對象，鎖定重要的視頻線索信息。

進一步地，現有的視頻分段個性化推薦技術，一般根據用戶的偏好設置、行為來學習用戶的畫像，然后結合用戶的興趣點來匹配同標簽信息的視頻。

發明內容

本申請提供一種視頻的分段、標記方法和裝置，能夠從更多維度進行視頻分段，提供更豐富的標記信息。

為實現上述目的，本申請采用如下技術方案：

一種視頻的分段和標注方法，包括：

將視頻內容按照場景進行分割，得到場景分割序列，為所述場景分割序列中的每個分段記錄對應的場景信息，并將所述場景信息加入標注信息；

將視頻內容的音頻數據進行分割，分割點為聲音出現、切換和消失的點，得到聲音分割序列，對所述聲音分割序列中的每個分段進行聲音識別，并記錄相應的聲音類別，作為各分段的聲音信息，將所述聲音信息加入標注信息；和/或，將視頻內容按照時間等分，計算每個時間段的熱度統計值，將熱度統計值的差小于第一設定閾值的相鄰時間段合并，并將對應的熱度統計值合并，得到熱度分割序列，將熱度分割序列中每個分段的熱度統計值作為相應分段的熱度信息，將所述熱度信息加入標注信息；

將對所述視頻內容進行分割得到的各個分割序列中的所有分割點作為所述視頻內容的分割點，對所述視頻內容再次進行視頻分割，得到視頻分割序列，并按照各個分割序列中的標注信息，為所述視頻分割序列中的每個分段記錄對應的標注信息；

根據所述視頻分割序列和各個分段對應的標注信息，顯示視頻內容的分段以及各分段的標注信息。