[發(fā)明專利]基于鏡頭類相關(guān)性分析的視頻場(chǎng)景分割方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810290282.1
• 申請(qǐng)日: 2018-03-30
• 公開（公告）號(hào): CN108509917B
• 公開（公告）日: 2020-03-03
• 發(fā)明（設(shè)計(jì)）人: 吉長(zhǎng)江
• 申請(qǐng)（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 范曉斌

本申請(qǐng)公開了一種基于鏡頭類相關(guān)性分析的視頻場(chǎng)景分割方法和裝置。該方法包括：鏡頭分割步驟：對(duì)視頻進(jìn)行鏡頭分割，得到鏡頭序列；鏡頭類計(jì)算步驟：計(jì)算所述鏡頭序列中各個(gè)鏡頭之間相似度，將鏡頭相似度超過(guò)第一閾值并且時(shí)間間隔不超過(guò)第二閾值的鏡頭分到同一鏡頭類中，生成鏡頭類序列；和場(chǎng)景分割步驟：根據(jù)所述鏡頭類序列中各個(gè)鏡頭類之間的相關(guān)系數(shù)對(duì)鏡頭類進(jìn)行合并，得到分割后的視頻場(chǎng)景。本申請(qǐng)?zhí)峁┑膱?chǎng)景分割方法，基于鏡頭類相關(guān)性分析進(jìn)行視頻場(chǎng)景分割，解決了語(yǔ)義級(jí)別的視頻場(chǎng)景分割問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理領(lǐng)域，特別是涉及一種基于鏡頭類相關(guān)性分析的視頻場(chǎng)景分割方法和裝置。

背景技術(shù)

在視頻中，鏡頭是指攝像機(jī)的一個(gè)連續(xù)拍攝過(guò)程，場(chǎng)景是指語(yǔ)義相關(guān)的一組鏡頭序列。場(chǎng)景檢測(cè)的目的，是將視頻分割為語(yǔ)義級(jí)別的片段。鏡頭的分割相對(duì)簡(jiǎn)單，可以借助于相鄰幀的相似度判斷；而場(chǎng)景的分割則更加復(fù)雜，這是由視頻作品剪輯方法的多樣性造成的。組成場(chǎng)景的鏡頭在視覺(jué)上可能存在巨大差別，但從語(yǔ)義上卻表達(dá)著同一個(gè)主題。例如車內(nèi)的人看著窗外不斷變換的風(fēng)景，而鏡頭在人和風(fēng)景間來(lái)回的切換。再比如對(duì)話場(chǎng)景和訪談節(jié)目，鏡頭在對(duì)話者雙方之間不斷進(jìn)行切換，但應(yīng)該屬于同一情景。現(xiàn)有技術(shù)采用視頻幀之間的相關(guān)性對(duì)鏡頭進(jìn)行分割，因而經(jīng)常將同一場(chǎng)景下不斷切換的幀分到不同的場(chǎng)景中。由于無(wú)法實(shí)現(xiàn)語(yǔ)義級(jí)別的視頻場(chǎng)景分割，這影響了后續(xù)數(shù)據(jù)處理和分析的準(zhǔn)確性。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于克服上述問(wèn)題或者至少部分地解決或緩減解決上述問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種視頻場(chǎng)景分割方法，包括：

鏡頭分割步驟：對(duì)視頻進(jìn)行鏡頭分割，得到鏡頭序列；

鏡頭類計(jì)算步驟：計(jì)算所述鏡頭序列中各個(gè)鏡頭之間相似度，將鏡頭相似度超過(guò)第一閾值并且時(shí)間間隔不超過(guò)第二閾值的鏡頭分到同一鏡頭類中，生成鏡頭類序列；和

場(chǎng)景分割步驟：根據(jù)所述鏡頭類序列中各個(gè)鏡頭類之間的相關(guān)系數(shù)對(duì)鏡頭類進(jìn)行合并，得到分割后的視頻場(chǎng)景。

本申請(qǐng)?zhí)峁┑膱?chǎng)景分割方法，基于鏡頭類相關(guān)性分析進(jìn)行視頻場(chǎng)景分割，解決了語(yǔ)義級(jí)別的視頻場(chǎng)景分割問(wèn)題。

可選地，所述鏡頭分割步驟包括：

鏡頭劃分步驟：對(duì)于視頻中的每一幀，計(jì)算該幀與該幀的前一幀的幀間差，在所述幀間差小于第三閾值，并且?guī)g差累加和不超過(guò)第四閾值的情況下，則將該幀與前一幀劃分為同一個(gè)鏡頭，其中所述幀間差累加和是所述前一幀所屬鏡頭的起始幀到該幀之間相鄰兩幀的幀間差之和；和

鏡頭序列生成步驟：將鏡頭按照時(shí)間順序生成該視頻的鏡頭序列。

可選地，所述鏡頭類計(jì)算步驟包括：

鏡頭相似度計(jì)算步驟：對(duì)于鏡頭序列中的每一個(gè)鏡頭，計(jì)算該鏡頭中的每一幀與該鏡頭的前一個(gè)鏡頭中的每一幀之間相似度的均值，得到兩個(gè)鏡頭的相似度；

鏡頭分類步驟：在兩個(gè)鏡頭的相似度超過(guò)第一閾值并且時(shí)間間隔不超過(guò)第二閾值的情況下，將該鏡頭分到所述前一個(gè)鏡頭所屬的鏡頭類中；和

鏡頭類序列生成步驟：將鏡頭類按照時(shí)間順序生成視頻的鏡頭類序列。

可選地，所述場(chǎng)景分割步驟包括：

鏡頭類相關(guān)系數(shù)計(jì)算步驟：計(jì)算兩個(gè)鏡頭類之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣；和

鏡頭類合并步驟：對(duì)于所述鏡頭類序列中的每一個(gè)鏡頭類，根據(jù)所述相關(guān)系數(shù)矩陣，在所述鏡頭類序列中的鏡頭類和該鏡頭類的前一個(gè)鏡頭類的相關(guān)系數(shù)不超過(guò)第五閾值的情況下，將該鏡頭類合并到所述前一個(gè)鏡頭類中，得到分割后的視頻場(chǎng)景。

根據(jù)本申請(qǐng)的另一個(gè)方面，還提供了一種視頻場(chǎng)景分割裝置，包括：