[發明專利]基于多尺度內容理解的跨模態媒體資源檢索方法

在審

• 申請號: 202210553211.2
• 申請日: 2022-05-19
• 公開（公告）號: CN114817580A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 高登科;徐楨虎;蘇忠瑩
• 申請（專利權）人: 四川封面傳媒科技有限責任公司
• 主分類號: G06F16/43
• 分類號: G06F16/43;G06F16/438;G06F16/45;G06F16/36
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

本發明涉及媒體資源檢索領域，具體涉及一種基于多尺度內容理解的跨模態媒體資源檢索方法。解決了語義鴻溝，極大地提高了檢索準確度以及檢索效率。本發明基于多尺度內容理解的跨模態媒體資源檢索方法，包括：按照設定的規則從多個維度對媒體內容進行理解；對理解的媒體內容進行融合對齊，并存入數據庫；對用戶的檢索內容進行理解并處理；基于用戶檢索內容理解，從多個維度對媒體內容進行召回；對召回的媒體內容進行排序；在排序后的媒體內容中進行相應篩選。本發明適用于跨模態媒體資源檢索。

技術領域

本發明涉及媒體資源檢索領域，具體涉及一種基于多尺度內容理解的跨模態媒體資源檢索方法。

背景技術

伴隨互聯網技術的飛速發展,媒體產業積累的數字資產越來越多,媒體資源管理(DAM)成為媒體行業的一個研究熱點；而媒體資源檢索作為媒體資源管理的一個重要功能,在事件分析、內容創作、輿情跟蹤等具體媒體業務場景中的應用更是日趨廣泛。

媒體資源檢索要面對文本(Text)、圖像(Image)、音頻(Audio)、視頻(Video)等多種模態數據，同時其業務應用場景更是千差萬別；因此，媒體資源檢索不僅面臨不同模態數據的語義鴻溝，更面臨不同業務場景下具體檢索意圖的粗細粒度差異。因此，現有檢索面對上述情況時，檢索效率低，對檢索意圖理解準確度不高，以及檢索結果準確率不高。

發明內容

本申請的目的是提供一種基于多尺度內容理解的跨模態媒體資源檢索方法，解決了語義鴻溝，極大地提高了檢索準確度以及檢索效率。

本發明采取如下技術方案實現上述目的，基于多尺度內容理解的跨模態媒體資源檢索方法，包括：

步驟1、按照設定的規則從多個維度對媒體內容進行理解；

步驟2、對理解的媒體內容進行融合對齊，并存入數據庫；

步驟3、對用戶的檢索內容進行理解并處理；

步驟4、基于用戶檢索內容理解，從多個維度對媒體內容進行媒體內容召回；

步驟5、對召回的媒體內容進行排序；

步驟6、在排序后的媒體內容中進行相應篩選。

進一步的是，所述多個維度包括關鍵詞、實體、主題、場景類別以及事件五個維度。

進一步的是，設定規則具體包括：對關鍵詞構建媒體領域詞典、停用詞典；對實體，限定實體類型范圍，并構建媒體領域實體知識圖譜；對主題，設計三級主題標簽體系；對場景類別，設計層次化場景類別標簽體系；對事件，限定事件類型和元素維度，并構建事件圖譜。

進一步的是，所述媒體內容包括文本、圖片、視頻以及音頻；對文本內容理解的具體方法包括：基于集成模型以及領域詞典提取關鍵詞信息，基于媒體領域實體抽取模型提取基于媒體領域實體抽取，基于媒體領域訓練的主題模型提取主題信息，基于媒體領域場景分類的第一模型分類場景類別，基于聯合模型進行句子級別的事件抽取。

進一步的是，對圖片內容理解的具體方法包括：

獲取圖片在文章內的上下文文本，基于匹配模型，篩選相關匹配文本；

通過對文本內容理解的具體方法對篩選的文本進行處理，提取關鍵詞、實體、主題、場景分類、事件信息；同時，對圖片，采用基于媒體領域場景分類的第二模型分類場景類別、主題類別，采用基于媒體領域的第三模型抽取目標實體信息。

進一步的是，對理解的圖片內容進行融合對齊的具體方法包括：