[發(fā)明專(zhuān)利]一種基于內(nèi)容的電影可視化處理方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611188828.X
• 申請(qǐng)日: 2016-12-21
• 公開(kāi)（公告）號(hào): CN106649713B
• 公開(kāi)（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 戚鑫;林淑金;趙寶全
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06F16/44
• 分類(lèi)號(hào): G06F16/44;G06F16/43;G06F40/30;G06F40/284
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明實(shí)施例公開(kāi)了一種基于內(nèi)容的電影可視化處理方法及其系統(tǒng)，其中，該方法包括：提取電影的音視頻信息，對(duì)所述音視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取對(duì)應(yīng)的音視頻結(jié)構(gòu)化內(nèi)容信息；根據(jù)所述電影音視頻結(jié)構(gòu)化內(nèi)容信息檢測(cè)電影語(yǔ)義邊界，將電影分割為內(nèi)容獨(dú)立的情節(jié)，并概括語(yǔ)義主題，歸納電影情節(jié)信息；根據(jù)所述電影語(yǔ)義邊界、歸納的電影情節(jié)信息，以及對(duì)應(yīng)的音視頻信息構(gòu)建可視化框架，生成可視化界面。在本發(fā)明實(shí)施例中，通過(guò)視頻語(yǔ)義分割和情節(jié)概括，多角度、集中地呈現(xiàn)電影內(nèi)容和整體結(jié)構(gòu)，用戶(hù)交互友好，有效幫助用戶(hù)快速抓住電影重要情節(jié)，理解電影風(fēng)格、主題，提高用戶(hù)篩選電影的效率和使用體驗(yàn)感。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘、信息可視化技術(shù)領(lǐng)域，尤其涉及一種基于內(nèi)容的電影可視化處理方法及其系統(tǒng)。

背景技術(shù)

近年來(lái)，隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，電影產(chǎn)量一直保持著快速增長(zhǎng)態(tài)勢(shì)，各類(lèi)電影資源極大豐富。用戶(hù)要在龐大數(shù)量的電影中選出自己喜歡的電影，只能通過(guò)文字劇情介紹，電影的海報(bào)等進(jìn)行了解。但是，簡(jiǎn)單的文字劇情介紹或者海報(bào)往往不能讓用戶(hù)對(duì)影片有一個(gè)整體全面的認(rèn)識(shí)，用戶(hù)還是不易篩選出自己喜歡的電影。

為了滿(mǎn)足信息時(shí)代快速有效的獲取或篩選信息的需求，越來(lái)越多的人開(kāi)始關(guān)注信息可視化，并開(kāi)始探索可視化在各個(gè)領(lǐng)域中的應(yīng)用，各種創(chuàng)新型可視化案例紛紛涌現(xiàn)，數(shù)據(jù)信息可視化的理論研究和實(shí)踐也趨于成熟，可視化已然成為各個(gè)領(lǐng)域處理數(shù)據(jù)信息的一種高效方法。在數(shù)據(jù)信息爆炸的信息時(shí)代中，隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的高速發(fā)展，視頻成為獲取信息的重要來(lái)源，視頻作為承載信息內(nèi)容最豐富的一種媒介形式，相對(duì)于其他的媒介而言，視頻傳遞的信息內(nèi)容更為生動(dòng)、直觀和有效，因此，用戶(hù)更加青睞于在視頻中獲取信息內(nèi)容。

為了解決這個(gè)問(wèn)題，需要從電影視頻中挖掘能充分反映電影主題的信息，并生動(dòng)形象展示給用戶(hù)。但是，電影視頻數(shù)據(jù)單元關(guān)系不明確，視頻數(shù)據(jù)內(nèi)容提取困難，存在語(yǔ)義鴻溝等問(wèn)題，加大了挖掘電影有用信息的難度，使得用戶(hù)了解電影內(nèi)容、篩選電影的效率以及用戶(hù)體驗(yàn)度大大降低。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于內(nèi)容的電影可視化處理方法及其系統(tǒng)，通過(guò)視頻語(yǔ)義分割和情節(jié)概括，多角度、集中地呈現(xiàn)電影內(nèi)容和整體結(jié)構(gòu)，提高用戶(hù)篩選電影的效率和使用體驗(yàn)感。

為了解決上述問(wèn)題，本發(fā)明提出了一種基于內(nèi)容的電影可視化處理方法，所述方法包括：

提取電影的音視頻信息，對(duì)所述音視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取對(duì)應(yīng)的音視頻結(jié)構(gòu)化內(nèi)容信息；

根據(jù)所述電影音視頻結(jié)構(gòu)化內(nèi)容信息檢測(cè)電影語(yǔ)義邊界，將電影分割為內(nèi)容獨(dú)立的情節(jié)，并概括語(yǔ)義主題，歸納電影情節(jié)信息；

根據(jù)所述電影語(yǔ)義邊界、歸納的電影情節(jié)信息，以及對(duì)應(yīng)的音視頻信息構(gòu)建可視化框架，生成可視化界面。

優(yōu)選地，所述提取電影的音視頻信息，對(duì)所述音視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取對(duì)應(yīng)的音視頻結(jié)構(gòu)化內(nèi)容信息的步驟，包括：

根據(jù)用戶(hù)在電影庫(kù)檢索的視頻結(jié)果獲取電影基本幀序列信息；

對(duì)所述電影基本幀序列信息提取對(duì)應(yīng)的視頻結(jié)構(gòu)化信息，所述視頻結(jié)構(gòu)化信息包括幀率信息、關(guān)鍵幀信息、主題信息、人物信息以及各個(gè)信息對(duì)應(yīng)的時(shí)間線(xiàn)信息；

根據(jù)用戶(hù)在電影庫(kù)檢索的電影結(jié)果分離出電影的音頻信息，對(duì)所述音頻信息進(jìn)行靜音與噪音的過(guò)濾，對(duì)剩余音頻信息進(jìn)行分類(lèi)處理，將音頻信息分為：純語(yǔ)音信息，背景音樂(lè)信息，其他環(huán)境信息；對(duì)于純語(yǔ)音音頻信息，根據(jù)時(shí)間線(xiàn)和視頻中的人物信息識(shí)別其對(duì)應(yīng)的說(shuō)話(huà)人；對(duì)純語(yǔ)音信息做文字轉(zhuǎn)化處理，獲取處理后的語(yǔ)音文本信息；

將所述視頻結(jié)構(gòu)化信息和語(yǔ)音文本信息組成音視頻結(jié)構(gòu)化內(nèi)容信息。

優(yōu)選地，所述根據(jù)所述電影音視頻結(jié)構(gòu)化內(nèi)容信息檢測(cè)電影語(yǔ)義邊界，將電影分割為內(nèi)容獨(dú)立的情節(jié)的步驟，包括：