[發明專利]基于鏡頭類相關性分析的視頻場景分割方法和裝置

有效

• 申請號: 201810290282.1
• 申請日: 2018-03-30
• 公開（公告）號: CN108509917B
• 公開（公告）日: 2020-03-03
• 發明（設計）人: 吉長江
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 范曉斌

1.一種視頻場景分割方法，包括：

鏡頭分割步驟：對視頻進行鏡頭分割，得到鏡頭序列S；

鏡頭類計算步驟：計算所述鏡頭序列中各個鏡頭之間相似度，將鏡頭相似度超過第一閾值并且時間間隔不超過第二閾值的鏡頭分到同一鏡頭類中，生成鏡頭類序列；和

場景分割步驟：根據所述鏡頭類序列中各個鏡頭類之間的相關系數對鏡頭類進行合并，得到分割后的視頻場景；

所述鏡頭類計算步驟包括：

鏡頭相似度計算步驟：對于鏡頭序列中的每一個鏡頭，計算該鏡頭中的每一幀與該鏡頭的前一個鏡頭中的每一幀之間相似度的均值，得到兩個鏡頭的相似度；

鏡頭分類步驟：在兩個鏡頭的相似度超過第一閾值并且時間間隔不超過第二閾值的情況下，將該鏡頭分到所述前一個鏡頭所屬的鏡頭類中；和

鏡頭類序列生成步驟：將鏡頭類按照時間順序生成視頻的鏡頭類序列；

鏡頭相似度計算步驟中，兩個鏡頭間的相似度是每個鏡頭中所有視頻幀兩兩之間相似度的均值，鏡頭之間的相似度采用下式計算：

其中，Sim(s_m,s_n)表示鏡頭s_m和鏡頭s_n之間的鏡頭相似度，f_i表示鏡頭s_m中的幀，f_j表示鏡頭s_n中的幀，l和k分別表示鏡頭s_m和鏡頭s_n中幀的數量，SimFF表示幀間相似度；

幀間相似度用HSV顏色空間中的幀間相似度表示，用如下公式計算：

其中，g表示歸一化的級數，bins是HSV直方圖的bin的數目，表示歸一化的總級數，Hf_i(g)和Hf_j(g)分別表示幀f_i和幀f_j的第g級對應的像素點數量；

所述鏡頭分類步驟包括以下步驟：

P221、對鏡頭類集合和鏡頭指針進行初始化：

初始化鏡頭類集合：SC為鏡頭類集合，SC＝{}，其中S＝s₁s₂...s_i...s_n-1s_n，將當前鏡頭指針index的初始值設置為1；

P222、如果當前鏡頭指針index大于n，則鏡頭分類步驟停止，否則采用下面的公式將s_index與s_index之后的每一個鏡頭s_i，i＝index+1,index+2,...,n，分別進行相似度的比較：

其中T'為第一閾值，T_t為第二閾值；f表示從鏡頭序列S中的鏡頭s_i到鏡頭類集合SC的映射，即f:S→SC，f()表示類別；如果f(s_i)＝f(s_index)，則將f(s_i)加入鏡頭類集合SC中，同時，將s_index后面所有與s_index屬于同一類別的鏡頭從鏡頭序列中移除，即S＝S-{s_i}，Sim(s_index，s_i)表示鏡頭s_index和s_i之間的相似度，Sim(s_index,s_i)≥T'且|t1-t2|≤T_t表示鏡頭s_index和s_i的相似度超過第一閾值T’并且時間間隔不超過T_t；

P223、將鏡頭指針index的值加1，重復步驟P222；

所述場景分割步驟包括：

鏡頭類相關系數計算步驟：計算兩個鏡頭類之間的相關系數，得到相關系數矩陣；和

鏡頭類合并步驟：對于所述鏡頭類序列中的每一個鏡頭類，根據所述相關系數矩陣，在所述鏡頭類序列中的鏡頭類和該鏡頭類的前一個鏡頭類的相關系數不超過第五閾值的情況下，將該鏡頭類合并到所述前一個鏡頭類中，得到分割后的視頻場景。