[發(fā)明專利]視頻場景相似性分析方法及系統(tǒng)、視頻編解碼方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710873784.2
• 申請日: 2017-09-25
• 公開（公告）號(hào): CN107657228B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 葉龍;彭劍民;林秀桃;鐘微;張勤
• 申請（專利權(quán)）人: 中國傳媒大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;H04N19/13;H04N19/186
• 代理公司: 北京鴻元知識(shí)產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;賈霖

1.一種視頻場景相似性分析方法，其特征在于，包括：

從視頻的每一個(gè)鏡頭中分別選取一幀圖像作為所述每一個(gè)鏡頭的關(guān)鍵幀；

提取每一個(gè)關(guān)鍵幀的特征向量，根據(jù)特征向量度量各關(guān)鍵幀之間的相似度，構(gòu)建相似度矩陣；

所述構(gòu)建相似度矩陣的方法包括：

將關(guān)鍵幀的圖像分塊，形成同樣尺寸的子塊，得到所述子塊的顏色的直方圖，經(jīng)過累計(jì)得到所述關(guān)鍵幀的累計(jì)直方圖；

采用顏色空間提取每一個(gè)關(guān)鍵幀的累計(jì)直方圖的顏色特征向量；

采用灰度共生矩陣提取每一個(gè)關(guān)鍵幀的紋理特征向量；

利用每一個(gè)關(guān)鍵幀的所述顏色特征向量和紋理特征向量根據(jù)下式(1)構(gòu)建相似度矩陣，

其中，m，n為兩個(gè)關(guān)鍵幀，s_m,n表示關(guān)鍵幀m和關(guān)鍵幀n的相似度，(x₁,x₂,...,x_d)為關(guān)鍵幀m的特征向量，(y₁,y₂,...,y_d)為關(guān)鍵幀n的特征向量；

根據(jù)相似度矩陣，以吸引度和歸屬度的和作為線性核對各關(guān)鍵幀進(jìn)行聚類，設(shè)定各關(guān)鍵幀的聚類標(biāo)簽，所述聚類標(biāo)簽采用關(guān)鍵幀對應(yīng)的聚類中心表征，所述吸引度表示從關(guān)鍵幀傳送到其聚類中心的信息，所述歸屬度表示從聚類中心傳送到關(guān)鍵幀的信息；

所述根據(jù)相似度矩陣，以吸引度和歸屬度的和作為線性核對各關(guān)鍵幀進(jìn)行聚類，設(shè)定各關(guān)鍵幀的聚類標(biāo)簽的方法包括：

對相似度矩陣進(jìn)行初始化，將相似度矩陣中各相似度的平均值作為各關(guān)鍵幀的自相似度，

其中，S為相似度矩陣，將相似度矩陣S中的各相似度求平均值P作為s_1,1,s_2,2,…,s_m,m的值；

設(shè)定歸屬度矩陣和吸引度矩陣中各關(guān)鍵幀之間的初始?xì)w屬度和初始吸引度均為0，其中，

其中，A為歸屬度矩陣，a_m,n表示關(guān)鍵幀m對關(guān)鍵幀n的歸屬度；R為吸引度矩陣，r_m,n表示關(guān)鍵幀n對關(guān)鍵幀m的吸引度；

根據(jù)相似度矩陣采用下式(2)對吸引度矩陣進(jìn)行更新，

其中，r′_m,n為初始?xì)w屬度和初始吸引度均為0采用相似度矩陣更新后的關(guān)鍵幀n對關(guān)鍵幀m的吸引度；

根據(jù)更新后的吸引度矩陣對歸屬度矩陣根據(jù)下式(3)和(4)進(jìn)行更新，

其中，a′_m,n和a′_m,m分別為根據(jù)更新后的吸引度矩陣進(jìn)行更新的關(guān)鍵幀n對關(guān)鍵幀m的歸屬度和關(guān)鍵幀m自相關(guān)歸屬度；

設(shè)定阻尼因子λ和迭代次數(shù)T，利用下式(5)和(6)對上述吸引度矩陣和歸屬度矩陣進(jìn)行迭代更新，

其中，為經(jīng)過T次迭代更新后的關(guān)鍵幀n對關(guān)鍵幀m的吸引度，為經(jīng)過T次迭代更新后的關(guān)鍵幀n對關(guān)鍵幀m的歸屬度；

經(jīng)過上述迭代更新后，濾除自相關(guān)歸屬度和自相關(guān)吸引度的和不大于0的關(guān)鍵幀；

將符合自相關(guān)歸屬度和自相關(guān)吸引度大于0的條件的關(guān)鍵幀與其他關(guān)鍵幀的歸屬度和吸引度的和的最大值對應(yīng)的另一個(gè)關(guān)鍵幀作為該關(guān)鍵幀的聚類中心，從而獲得符合條件的每一個(gè)關(guān)鍵幀的聚類中心，將屬于同一聚類中心的關(guān)鍵幀聚為一類。

2.根據(jù)權(quán)利要求1所述的視頻場景相似性分析方法，其特征在于，所述從視頻的每一個(gè)鏡頭中分別選取一幀圖像作為所述每一個(gè)鏡頭的關(guān)鍵幀的方法包括：

檢測鏡頭的邊界，將兩個(gè)相鄰邊界之間確定為一個(gè)鏡頭；

選取各鏡頭中設(shè)定位置的一幀作為關(guān)鍵幀。

3.一種視頻編解碼方法，其特征在于，包括：

權(quán)利要求1-2中任一權(quán)利要求所述的視頻場景相似性分析方法；

將聚為一類的關(guān)鍵幀作為一個(gè)GOP壓縮；

將關(guān)鍵幀壓縮后在編碼端重建放在幀緩存區(qū)，其余GOP的B幀和P幀通過各自的關(guān)鍵幀索引找到幀緩存區(qū)對應(yīng)的關(guān)鍵幀進(jìn)行幀間預(yù)測編碼；

解碼時(shí)，先解碼所有關(guān)鍵幀，再根據(jù)聚類標(biāo)簽解碼B幀和P幀。