[發(fā)明專(zhuān)利]一種視頻內(nèi)容結(jié)構(gòu)化方法、裝置、終端設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011217518.2
• 申請(qǐng)日: 2020-11-04
• 公開(kāi)（公告）號(hào): CN112040313B
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 周凡
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)深圳研究院
• 主分類(lèi)號(hào): H04N21/44
• 分類(lèi)號(hào): H04N21/44;H04N21/439;H04N21/234;H04N21/233;G10L15/26;G10L15/04;G10L25/57;G06K9/62;G06K9/46
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 肖遙

本申請(qǐng)適用于視頻處理技術(shù)領(lǐng)域，提供了一種視頻內(nèi)容結(jié)構(gòu)化方法、裝置、終端設(shè)備及介質(zhì)，所述方法包括：獲取目標(biāo)視頻的視覺(jué)通道信息，基于所述視覺(jué)通道信息將所述目標(biāo)視頻劃分為多個(gè)場(chǎng)景單元，所述多個(gè)場(chǎng)景單元包括多個(gè)場(chǎng)景邊界；將所述目標(biāo)視頻的語(yǔ)音轉(zhuǎn)換為語(yǔ)音文本，并將所述語(yǔ)音文本分割為多個(gè)文本塊；基于所述多個(gè)文本塊，將所述目標(biāo)視頻劃分為多個(gè)語(yǔ)音單元，所述多個(gè)語(yǔ)音單元包括多個(gè)語(yǔ)音邊界；根據(jù)所述多個(gè)場(chǎng)景邊界和所述多個(gè)語(yǔ)音邊界，確定所述目標(biāo)視頻的視頻主題邊界；根據(jù)所述視頻主題邊界，將所述目標(biāo)視頻劃分為多個(gè)主題單元。通過(guò)上述方法，能夠提高視頻內(nèi)容結(jié)構(gòu)化的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)屬于視頻處理技術(shù)領(lǐng)域，尤其涉及一種視頻內(nèi)容結(jié)構(gòu)化方法、裝置、終端設(shè)備及介質(zhì)。

背景技術(shù)

視頻內(nèi)容結(jié)構(gòu)化是指將視頻文件層次化分解成多個(gè)語(yǔ)義子單元并建立子單元間關(guān)聯(lián)關(guān)系的過(guò)程，其目標(biāo)是將復(fù)雜抽象的視頻數(shù)據(jù)轉(zhuǎn)換成計(jì)算機(jī)容易處理的格式，從而便于進(jìn)一步提取、分析視頻內(nèi)容。

傳統(tǒng)的視頻內(nèi)容結(jié)構(gòu)化方法，是從視頻的視覺(jué)線索出發(fā)，將視頻劃分為各個(gè)場(chǎng)景。但是由于視頻種類(lèi)過(guò)于豐富，某些視頻場(chǎng)景過(guò)于單一或者過(guò)于豐富，所以?xún)H利用視覺(jué)線索將視頻分為不同的場(chǎng)景單元，可能會(huì)造成很大誤差。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種視頻內(nèi)容結(jié)構(gòu)化方法、裝置、終端設(shè)備及介質(zhì)，可以提高視頻內(nèi)容結(jié)構(gòu)化的準(zhǔn)確性。

第一方面，本申請(qǐng)實(shí)施例提供了一種視頻內(nèi)容結(jié)構(gòu)化方法，包括：

獲取目標(biāo)視頻的視覺(jué)通道信息，基于所述視覺(jué)通道信息將所述目標(biāo)視頻劃分為多個(gè)場(chǎng)景單元，所述多個(gè)場(chǎng)景單元包括多個(gè)場(chǎng)景邊界；

將所述目標(biāo)視頻的語(yǔ)音轉(zhuǎn)換為語(yǔ)音文本，并將所述語(yǔ)音文本分割為多個(gè)文本塊；

基于所述多個(gè)文本塊，將所述目標(biāo)視頻劃分為多個(gè)語(yǔ)音單元，所述多個(gè)語(yǔ)音單元包括多個(gè)語(yǔ)音邊界；

根據(jù)所述多個(gè)場(chǎng)景邊界和所述多個(gè)語(yǔ)音邊界，確定所述目標(biāo)視頻的視頻主題邊界；

根據(jù)所述視頻主題邊界，將所述目標(biāo)視頻劃分為多個(gè)主題單元。

第二方面，本申請(qǐng)實(shí)施例提供了一種視頻內(nèi)容結(jié)構(gòu)化裝置，包括：

場(chǎng)景邊界劃分模塊，用于獲取目標(biāo)視頻的視覺(jué)通道信息，基于所述視覺(jué)通道信息將所述目標(biāo)視頻劃分為多個(gè)場(chǎng)景單元，所述多個(gè)場(chǎng)景單元包括多個(gè)場(chǎng)景邊界；

文本塊分割模塊，用于將所述目標(biāo)視頻的語(yǔ)音轉(zhuǎn)換為語(yǔ)音文本，并將所述語(yǔ)音文本分割為多個(gè)文本塊；

語(yǔ)音單元分割模塊，用于基于所述多個(gè)文本塊，將所述目標(biāo)視頻劃分為多個(gè)語(yǔ)音單元，所述多個(gè)語(yǔ)音單元包括多個(gè)語(yǔ)音邊界；

視頻主題邊界確定模塊，用于根據(jù)所述多個(gè)場(chǎng)景邊界和所述多個(gè)語(yǔ)音邊界，確定所述目標(biāo)視頻的視頻主題邊界；

主題單元?jiǎng)澐帜K，用于根據(jù)所述視頻主題邊界，將所述目標(biāo)視頻劃分為多個(gè)主題單元。

第三方面，本申請(qǐng)實(shí)施例提供了一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的方法。

第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的方法。

第五方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)程序產(chǎn)品在終端設(shè)備上運(yùn)行時(shí)，使得終端設(shè)備執(zhí)行上述第一方面中任一項(xiàng)所述的方法。