[發明專利]一種基于內容的電影可視化處理方法及其系統

有效

• 申請號: 201611188828.X
• 申請日: 2016-12-21
• 公開（公告）號: CN106649713B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 戚鑫;林淑金;趙寶全
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/44
• 分類號: G06F16/44;G06F16/43;G06F40/30;G06F40/284
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于內容的電影可視化處理方法，其特征在于，所述方法包括：

提取電影的音視頻信息，對所述音視頻信息進行結構化處理，獲取對應的音視頻結構化內容信息；具體包括：根據用戶在電影庫檢索的視頻結果獲取電影基本幀序列信息；對所述電影基本幀序列信息提取對應的視頻結構化信息，所述視頻結構化信息包括幀率信息、關鍵幀信息、主題信息、人物信息以及各個信息對應的時間線信息；根據用戶在電影庫檢索的電影結果分離出電影的音頻信息，對所述音頻信息進行靜音與噪音的過濾，對剩余音頻信息進行分類處理，將音頻信息分為：純語音信息，背景音樂信息，其他環境信息；對于純語音音頻信息，根據時間線和視頻中的人物信息識別其對應的說話人；對純語音信息做文字轉化處理，獲取處理后的語音文本信息；將所述視頻結構化信息和語音文本信息組成音視頻結構化內容信息；

根據所述電影音視頻結構化內容信息檢測電影語義邊界，將電影分割為內容獨立的情節，并概括語義主題，歸納電影情節信息；所述將電影分割為內容獨立的情節具體包括：根據所述語音文本信息進行去停詞、提取主干處理，得到視頻的詞匯表，并根據所述詞匯表以及詞頻構建視頻特征向量；對所述視頻結構化信息進行預劃分處理，獲得若干個長度相當的文本塊，根據所述視頻特征向量計算相鄰文本塊間的相似度；根據所述相鄰文本塊間的相似度比較相鄰文本塊的相似度差異，計算每個文本塊代表該文本塊可能成為語義邊界的深度分數，搜索深度分數峰值，確定語義邊界時間戳；根據邊界時間戳將電影分割成語義獨立的片段，每個片段對應電影一個情節；所述歸納電影情節信息具體包括：計算各個情節每個關鍵詞的權值，提取各個情節關鍵詞獲取關鍵詞信息；根據所述關鍵詞的權值計算各個情節每個句子權值，提取各個情節關鍵句，獲取關鍵詞信息；根據所述各個情節關鍵句概括情節語義主題，歸納電影情節，獲取情節主題信息；

根據所述電影語義邊界、歸納的電影情節信息，以及對應的音視頻信息構建可視化框架，生成可視化界面；具體包括：構建電影可視化框架；將所述電影的視頻、電影語義邊界，歸納的電影情節信息，以及對應的關鍵幀信息、關鍵詞信息填入所述電影可視化框架；將已填入內容的電影可視化框架進行顯示，生成可視化界面。

2.一種基于內容的電影可視化處理系統，其特征在于，所述系統包括：

信息提取模塊，用于提取電影的音視頻信息，對所述音視頻信息進行結構化處理，獲取對應的音視頻結構化內容信息；具體包括：幀序列信息獲取單元，用于根據用戶在電影庫檢索的視頻結果獲取電影基本幀序列信息；結構化信息提取單元，用于對所述電影基本幀序列信息提取對應的視頻結構化信息，所述視頻結構化信息包括幀率信息、關鍵幀信息、主題信息、人物信息以及各個信息對應的時間線信息；音頻信息處理單元，用于根據用戶在電影庫檢索的電影結果分離出電影的音頻信息，對所述音頻信息進行靜音與噪音的過濾，對剩余音頻信息進行分類處理，將音頻信息分為：純語音信息，背景音樂信息，其他環境信息；對于純語音音頻信息，根據時間線和視頻中的人物信息識別其對應的說話人；對純語音信息做文字轉化處理，獲取處理后的語音文本信息；生成單元，用于將所述視頻結構化信息和語音文本信息組成音視頻結構化內容信息；

情節歸納模塊，用于根據所述電影音視頻結構化內容信息檢測電影語義邊界，將電影分割為內容獨立的情節，并概括語義主題，歸納電影情節信息；具體包括：視頻特征向量構建單元，用于根據所述語音文本信息進行去停詞、提取主干處理，得到視頻的詞匯表，并根據所述詞匯表以及詞頻構建視頻特征向量；相似度計算單元，用于對所述視頻結構化信息進行預劃分處理，獲得若干個長度相當的文本塊，根據所述視頻特征向量計算相鄰文本塊間的相似度；根據所述相鄰文本塊間的相似度比較相鄰文本塊的相似度差異，計算每個文本塊代表該文本塊可能成為語義邊界的深度分數，搜索深度分數峰值，確定語義邊界時間戳；情節分割單元，用于根據邊界時間戳將電影分割成語義獨立的片段，每個片段對應電影一個情節；權值計算單元，用于計算各個情節每個關鍵詞的權值，提取各個情節關鍵詞獲取關鍵詞信息；關鍵詞獲取單元，用于根據所述關鍵詞的權值計算各個情節每個句子權值，提取各個情節關鍵句，獲取關鍵詞信息；歸納單元，用于根據所述各個情節關鍵句概括情節語義主題，歸納電影情節，獲取情節主題信息；

界面生成模塊，用于根據所述電影語義邊界、歸納的電影情節信息，以及對應的音視頻信息構建可視化框架，生成可視化界面；具體包括：構建單元，用于構建電影可視化框架；填入單元，用于將所述電影的視頻、電影語義邊界，歸納的電影情節信息，以及對應的關鍵幀信息、關鍵詞信息填入所述電影可視化框架；顯示單元，用于將已填入內容的電影可視化框架進行顯示，生成可視化界面。