[發(fā)明專利]一種基于3D-CNN與CVV-GLCM的融媒體信息獲取方法

在審

• 申請?zhí)枺?/td>: 202011054195.X
• 申請日: 2020-09-29
• 公開（公告）號: CN112149751A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設計）人: 胡燕祝;王松
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/44;G06K9/46;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于3D-CNN與CVV-GLCM的融媒體信息獲取方法，本發(fā)明特征在于：(1)確定像素值處的特征單位值；(2)確定幀間的Hamming距離；(3)確定視頻幀的CCV特征；(4)確定歸一化矩陣；(5)確定圖像的對比度和相關性；(6)確定圖像的能量和同質性度量矩陣；(7)確定GLCM紋理特征幀間的相似度；(8)確定關鍵幀，具體包括以下八個步驟：

步驟一：確定像素值處的特征單位值

式中，b_ij表示特征圖的偏置值，表示連接第n個特征圖的核第(p,q,r)的值，P_i和Q_i表示核的高和寬，R_i表示卷積核在時間維度的大小，p,q,r分別代表高、寬、維度的計數(shù)值，i，j表示像素的灰度，(x,y)表示像素值，z表示像素點上的維度值；

步驟二：確定幀間的Hamming距離D：

使用哈希算法處理圖像的深度特征，建立卷積神經網絡函數(shù)，構造Hash碼，通過Hash碼計算視頻幀的Hamming距離D：

式中，α、β分別指兩幀的Hash碼，α_i、β_i分別指兩幀的Hash碼第i個碼，I()表示相似度矩陣，通過Hamming距離表達視頻幀的相似度，Hamming距離越小，視頻幀的相似度S_df越高；

步驟三：確定視頻幀的CCV特征：

將圖像進行平滑濾波,采用均勻量化方法把0～255的顏色區(qū)間量化為一定個數(shù)的顏色區(qū)間，即直方圖的bin,劃分相關性像素的連通區(qū)域,每一個連通區(qū)域只有一個量化的灰度值,計算顏色聚合向量CCV:

CCV＝[(C₁,N₁)、(C₂,N₂)、…、(C_i,N_i)、…、(C_n,N_n)]；

式中，i指每一個顏色區(qū)間的灰度級，對應直方圖的每一個bin，C_i指聚合像素的個數(shù)，即灰度值為i的所有大的連通區(qū)域像素之和，N_i指非聚合像素的個數(shù)，即灰度值為i的所有零散的小連通區(qū)域像素之和，確定幀間的顏色相似度S_CCV；

步驟四：確定歸一化矩陣N(p,q)：

式中，p,q＝0,…,L,1≤i,j≤L，f(i,j)是具有值z_i和z_j的像素對的數(shù)目，f(p,q)是共生矩陣中的元素，L是最大灰度級數(shù)；

步驟五：確定圖像的對比度Contrast和相關性Correlation：

式中，對比度的數(shù)值范圍從0到(L-1)²，相關性的值在[-1,1]之間，相關性的大小反映了圖像中局部灰度相關性的情況；

步驟六：確定圖像的能量Energy和同質性度量矩陣Homogeneity：

式中，能量值范圍在[0,1]之間，灰度一致的圖像能量為1，Homogeneity值范圍在[0,1]之間；

步驟七：確定GLCM紋理特征幀間的相似度S_glcm：

確定對比度、相關性、能量和同質性的均值和標準差作為最終的紋理特征，

式中，glcm_i，glcm_j分別是幀i，j的GLCM紋理特征；

步驟八：加權融合，確定關鍵幀S：

S＝w₁·S_df+w₂·S_CCV+w₃·S_glcm；

式中，w₁、w₂、w₃分別為深度特征、顏色特征和紋理特征的權重因子。