[發明專利]一種基于多模態信息融合理解的全媒體新聞智能編目方法

有效

• 申請號: 202110198428.1
• 申請日: 2021-02-22
• 公開（公告）號: CN112818906B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 張隨雨;俞定國;方莉萍;錢永江;王亞奇;馬小雨
• 申請（專利權）人: 浙江傳媒學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/74;G06V10/80;G06V10/77;G06V10/82;G06N3/0464;G06N3/049;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 陳升華

本發明公開了一種基于多模態信息融合的全媒體新聞智能編目方法，對全媒體新聞中的視頻信息、語音信息、字幕條信息、人物信息進行統一表征與融合理解來獲得多模態融合特征，使用多模態融合特征實現新聞的自動切片、自動編目描述、自動場景分類。本發明的有益效果在于：實現了面向全媒體新聞的自動化綜合編目的完整流程，通過在視頻、音頻、文本多種模態融合的基礎上生成拆條標記、新聞編目描述、新聞分類標簽、新聞關鍵詞、新聞人物，提高了編目方法的準確率與泛化性，并大幅減少人工編目時間。

技術領域

本發明涉及智能媒體領域，具體涉及一種基于多模態信息融合理解的全媒體新聞智能編目方法。

背景技術

隨著智能移動設備的普及以及數字媒體內容的發展，包含圖像、視頻、語音、文本等全媒體新聞內容被高頻生產并快速傳播，海量資源與高人力成本的問題使得傳媒行業越來越迫切的尋求在分類、編目、檢索等資源管理流程中的智能化方法。

全媒體新聞是典型的多模態內容載體，它包含了新聞現場或演播室影像、新聞字幕文本、新聞播報語音等多模態信息，這使得面向單模態處理的智能技術無法有效替代編目任務中的人工流程。相比于單模態，多模態之間的互補性、關聯性提供了求解每種模態潛在解釋因素的監督信息，對多模態信息進行表征、轉化、融合等綜合的處理更接近于人類智能對自然界的感知與理解模式。因此，如何融合新聞內容中多種模態信息，實現資源的自動化編目流程，是媒體行業廣泛存在的需求和挑戰。

目前，不論是以電視臺為代表的傳統廣電單位，還是以今日頭條為代表的新興自媒體社區，人工編目仍然是媒體內容分類入庫的普遍方法，其一般步驟是：編目人員先將新聞視頻按場景或鏡頭進行切片(拆條)標注，然后對各個片段的內容進行文本描述、關鍵詞描述、廣電分類描述、關鍵人物描述等，最后提交入庫。高質量的新聞編目可以提供優質的資源檢索、資源點播、資源推薦等服務，是全媒體時代重要的基礎業務流程。盡管近年來有云媒資系統、深度學習等新框架或新技術的輔助，增加了新聞編目流程的自動化程度，但它們常限于對資源的云端管理，或是對單模態內容的單任務處理，無法覆蓋編目所需的完整流程以實現全面的智能化流水線。我們將當前已有的編目方法歸納如下：

1.傳統編目管理系統：采用手動的方式進行新聞資源的切片、描述、分類等，全部操作取決于編目人員的主觀判斷。該方法普遍用于傳媒行業的傳統媒資管理系統，管理人員首先登錄系統，然后對待編資源進行相應操作，最后提交系統完成入庫。

2.具有智能拆條輔助的編目系統：采用基于鏡頭轉換的分割方法，將新聞資源拆分為獨立片段(即自動標注拆條的起止時間)，編目人員對切片效果進行確認，然后手動完成片段描述、分類等后續工作。

3.具有智能場景分類的編目系統：采用深度學習等技術對視頻場景進行智能分類，自動為視頻標注“綜藝”、“體育”、“動畫”等場景標簽，編目人員對分類標簽進行確認，然后手動完成拆條、片段描述、分類等后續工作。

4.綜合智能編目系統：包含上述1、2、3條中若干功能的綜合系統，但系統中的各個功能都是相對獨立的，即針對同一資源分別運行對應的算法以生成基于單模態信息的結果。

上述編目方法存在兩點主要缺陷。第一，系統中涉及到的智能算法均是面向單模態內容的提取、分析和生成方法，即使計算機視覺、自然語言處理、語音識別等人工智能技術在單模態信息的處理任務上已經達到了接近或超越人腦的能力，但單模態的信息往往難以提供場景或現象中的完整知識；在全媒體新聞編目流程中，由于缺少對新聞內容包含的多模態信息的統一表征(融合)與綜合分析(理解)的有效方法，大量的分類、標注、描述、審核工作仍然需要投入較多的人工成本來完成。第二，智能編目系統中的視頻鏡頭分割、視頻語義描述等方法是從已有的機器學習任務場景移植來的，這些方法在面向新聞報道場景時存在兼容問題：基于鏡頭轉換的分割僅考慮前后幀的變化，常用于關鍵幀提取的前置步驟，但它沒有考慮同一場景中事件的連續性，如同一事件中遠景與中景的鏡頭的切換在新聞編目中一般認為是一個片段，不需要加以分割；視頻語義描述常分析場景中的動作及事件的描述，但它沒有聚焦核心人物的行為事件，這與編目中的片段內容描述需求不符。