[發(fā)明專利]視頻分割方法和裝置

有效

• 申請?zhí)枺?/td>: 201810068616.0
• 申請日: 2018-01-24
• 公開（公告）號: CN108182421B
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 吉長江
• 申請（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京萬思博知識產(chǎn)權(quán)代理有限公司 11694
• 代理人: 柴國偉

1.一種視頻分割方法，所述方法包括：

全局特征分析步驟：基于顏色空間計(jì)算視頻的每一幀與該幀的前一幀之間的第一相似度，將所述第一相似度與第一閾值進(jìn)行比較，若所述第一相似度小于所述第一閾值，則將該幀作為新鏡頭的候選起始幀；

局部特征分析步驟：分別計(jì)算所述候選起始幀與其前一幀中關(guān)鍵點(diǎn)的描述子到每一個視覺詞的距離值，將描述子與所述距離值最小的視覺詞相對應(yīng)，基于描述子和對應(yīng)的視覺詞，分別構(gòu)建所述候選起始幀和其前一幀的視覺詞直方圖，計(jì)算視覺詞直方圖之間的第二相似度，其中，所述視覺詞采用視覺詞計(jì)算步驟得到：

視覺詞計(jì)算步驟：提取所述視頻的幀的關(guān)鍵點(diǎn)，生成與所述關(guān)鍵點(diǎn)的每一個相對應(yīng)的描述子，對所述描述子進(jìn)行聚類，得到若干個視覺詞；和

鏡頭分割步驟：對所述第二相似度進(jìn)行判斷，若所述第二相似度大于或者等于第二閾值，則將所述候選起始幀和其前一幀歸并為同一個鏡頭，若所述第二相似度小于所述第二閾值，則將所述候選起始幀確定為新鏡頭的起始幀；

所述全局特征分析步驟包括：

基于HSV顏色空間，對所述幀的HSV數(shù)據(jù)進(jìn)行歸一化處理，構(gòu)建歸一化后HSV直方圖，該直方圖的橫軸表示歸一化的級數(shù)，縱軸表示所述級數(shù)對應(yīng)的像素點(diǎn)數(shù)量；

利用下式計(jì)算所述幀與該幀的前一幀之間的第一相似度S₁：

其中，l表示歸一化的級數(shù)，bins1表示歸一化的總級數(shù)，和分別表示該幀與該幀的前一幀的第l級對應(yīng)的像素點(diǎn)數(shù)量；

若所述第一相似度小于第一閾值，則將該幀作為新鏡頭的候選起始幀；

所述視覺詞計(jì)算步驟包括：

利用Harris算法提取所述幀的角點(diǎn)作為關(guān)鍵點(diǎn)，將待處理的視頻每隔x幀進(jìn)行采樣，得到N個采樣幀，其中，N＝視頻總幀數(shù)/x；

利用SIFT算法生成與所述關(guān)鍵點(diǎn)的每一個相對應(yīng)的描述子；和

利用K-means方法對所述描述子進(jìn)行聚類，得到若干個簇，對于每個簇，計(jì)算所述視覺詞；所述局部特征分析步驟包括：

利用下式分別計(jì)算所述候選起始幀和其前一幀的關(guān)鍵點(diǎn)的描述子到每一個視覺詞的距離值ρ：

其中，ρ(D,C)表示關(guān)鍵點(diǎn)的描述子D到視覺詞C的距離值，d_i和c_i分別表示關(guān)鍵點(diǎn)的描述子D和視覺詞C的描述子的第i個參數(shù)，n表示參數(shù)的個數(shù)；

將所述距離值最小的視覺詞與該描述子相對應(yīng)；

基于該描述子和對應(yīng)的視覺詞，分別構(gòu)建所述候選起始幀和其前一幀的視覺詞直方圖，該視覺詞直方圖的橫軸表示視覺詞，縱軸表示與視覺詞對應(yīng)的描述子的數(shù)量；和

利用下式計(jì)算視覺詞直方圖之間的第二相似度S₂：

其中，l表示幀的視覺詞直方圖的組數(shù)；bins2表示組的總數(shù)，該總數(shù)等于視覺詞的總數(shù)；和分別表示在所述幀與該幀的前一幀中第l個視覺詞對應(yīng)的描述子的數(shù)量；所述方法還包括：

閾值確定步驟：分別將所述幀與所述第一相似度和所述第二相似度的關(guān)系利用圖形進(jìn)行顯示，基于所述圖形，確定所述第一閾值和/或所述第二閾值。

2.一種視頻分割裝置，包括：

全局特征分析模塊，其配置成基于顏色空間計(jì)算視頻的每一幀與該幀的前一幀之間的第一相似度，若所述第一相似度小于第一閾值，則將該幀作為新鏡頭的候選起始幀；

局部特征分析模塊，其配置成分別計(jì)算所述候選起始幀與其前一幀中關(guān)鍵點(diǎn)的描述子到每一個視覺詞的距離值，將描述子與所述距離值最小的視覺詞相對應(yīng)，基于描述子和對應(yīng)的視覺詞，分別構(gòu)建所述候選起始幀和其前一幀的視覺詞直方圖，計(jì)算視覺詞直方圖之間的第二相似度，其中，所述視覺詞采用視覺詞計(jì)算模塊得到；

視覺詞計(jì)算模塊，其配置成提取所述視頻的幀的關(guān)鍵點(diǎn)，生成與所述關(guān)鍵點(diǎn)的每一個相對應(yīng)的描述子，對所述描述子進(jìn)行聚類，得到若干個視覺詞；和

鏡頭分割模塊，其配置成對所述第二相似度進(jìn)行判斷，若所述第二相似度大于或者等于第二閾值，則將所述候選起始幀和其前一幀歸并為同一個鏡頭，若所述第二相似度小于所述第二閾值，則將所述候選起始幀確定為新鏡頭的起始幀；

所述全局特征分析模塊包括：

HSV直方圖構(gòu)建模塊，其配置成基于HSV顏色空間，對所述幀的HSV數(shù)據(jù)進(jìn)行歸一化處理，構(gòu)建歸一化后HSV直方圖，該直方圖的橫軸表示歸一化的級數(shù)，縱軸表示所述級數(shù)對應(yīng)的像素點(diǎn)數(shù)量；

第一相似度計(jì)算模塊，其配置成利用下式計(jì)算所述幀與該幀的前一幀之間的第一相似度S₁：

其中，l表示歸一化的級數(shù)，bins1表示歸一化的總級數(shù)，和分別表示該幀與該幀的前一幀的第l級對應(yīng)的像素點(diǎn)數(shù)量；和

第一閾值比較模塊，其配置成將所述第一相似度與第一閾值進(jìn)行比較，若所述第一相似度小于所述第一閾值，則將該幀作為新鏡頭的候選起始幀；

所述視覺詞計(jì)算模塊包括：

關(guān)鍵點(diǎn)提取模塊，其配置成利用Harris算法提取所述幀的角點(diǎn)作為關(guān)鍵點(diǎn)，將待處理的視頻每隔x幀進(jìn)行采樣，得到N個采樣幀，其中，N＝視頻總幀數(shù)/x；

描述子生成模塊，其配置成利用SIFT算法生成與所述關(guān)鍵點(diǎn)的每一個相對應(yīng)的描述子；和

視覺詞計(jì)算模塊，其配置成利用K-means方法對所述描述子進(jìn)行聚類，得到若干個簇，對于每個簇，計(jì)算所述視覺詞；所述局部特征分析模塊包括：

距離值計(jì)算模塊，其配置成利用下式分別計(jì)算所述候選起始幀和其前一幀的關(guān)鍵點(diǎn)的描述子到每一個視覺詞的距離值ρ：

其中，ρ(D,C)表示關(guān)鍵點(diǎn)的描述子D到視覺詞C的距離值，d_i和c_i分別表示關(guān)鍵點(diǎn)的描述子D和視覺詞C的描述子的第i個參數(shù)，n表示參數(shù)的個數(shù)；

視覺詞分配模塊，其配置成將所述距離值最小的視覺詞與該描述子相對應(yīng)；

視覺詞直方圖構(gòu)建模塊，其配置成基于該描述子和對應(yīng)的視覺詞，分別構(gòu)建所述候選起始幀和其前一幀的視覺詞直方圖，該視覺詞直方圖的橫軸表示視覺詞，縱軸表示與視覺詞對應(yīng)的描述子的數(shù)量；和

第二相似度計(jì)算模塊，其配置成利用下式計(jì)算視覺詞直方圖之間的第二相似度S₂：

其中，l表示幀的視覺詞直方圖的組數(shù)；bins2表示組的總數(shù)，該總數(shù)等于視覺詞的總數(shù)；和分別表示在所述幀與該幀的前一幀中第l個視覺詞對應(yīng)的描述子的數(shù)量；所述裝置還包括：

閾值確定模塊，其配置成分別將所述幀與所述第一相似度和所述第二相似度的關(guān)系利用圖形進(jìn)行顯示，基于所述圖形，確定所述第一閾值和/或所述第二閾值。