[發明專利]一種基于AI算法的媒體文件多模檢索方法和系統

在審

• 申請號: 202210604891.6
• 申請日: 2022-05-30
• 公開（公告）號: CN115017339A
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 甘江威;方露露;楊叢聿
• 申請（專利權）人: 新華智云科技有限公司
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/483;G06F16/487;G06F16/36;G06F16/953
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 楊琪宇

本發明公開了一種基于AI算法的媒體文件多模檢索方法和系統，所述方法包括：對音視頻信息采用現有對應AI算法獲取音視頻中的文本信息；獲取文本信息中的基礎數據，根據所述基礎數據構建一級標簽；根據所述一級標簽構建一階索引，并將所述一階索引存儲于關系型數據庫中；通過所述AI算法獲取每一音視頻的meta信息和內容信息，構建二級標簽；根據所述二級標簽構建二階索引，通過查詢所述二階索引對所述音視頻進行查詢定位。所述方法和系統利用ES搜索引擎進行搜索加速，并采用二階索引+二階搜索的方式對搜索命中的記錄進行精確定位和詳細解析，從而可以大幅提高搜索命中準確率。

技術領域

本發明涉及媒體文件檢索方法和系統，特別涉及一種基于AI算法的媒體文件多模檢索方法和系統

背景技術

現有檢索方法和系統通常采用基于ES搜索引擎，只能夠對于文本(一般理解是標題，說明等文字性內容；網頁也是文字性內容)支持模糊搜索，關鍵詞搜索，按時間、相關度等排序能力，其中上述檢索方法和系統存在的技術問題包括：1、只能對簡單的文字信息搜索；但對于現在的圖片(照片)，視頻媒體為主的社交，娛樂平臺，卻無法對圖片，視頻等媒資內容進行搜索；2、目前的平臺的搜索能力，也無法提供對于長時間視頻、長時間音頻的片段命中詳情。

發明內容

本發明其中一個發明目的在于提供一種基于AI算法的媒體文件多模檢索方法和系統，所述方法和系統以現有的AI算法為基礎，對媒體音視頻文件進行多維度分析，并使用異構數據庫對全維度信息進行持久化，從而可以提高對媒體文件的檢索維度和能力。

本發明另一個發明目的在于提供一種基于AI算法的媒體文件多模檢索方法和系統，所述方法和系統利用ES搜索引擎進行搜索加速，并采用二階索引+二階搜索的方式對搜索命中的記錄進行精確定位和詳細解析，從而可以大幅提高搜索命中準確率。

本發明另一個發明目的在于提供一種基于AI算法的媒體文件多模檢索方法和系統，所述方法和系統利用二階索引的方式，利用現有AI算法構建視頻不同片段的標簽組，或構建圖片的標簽組，通過二階索引將可以準確定位到視頻的具體片段和圖片位置。

為了實現至少一個上述發明目的，本發明進一步提供一種基于AI算法的媒體文件多模檢索方法，所述方法包括：

對音視頻信息采用現有對應AI算法獲取音視頻中的標簽信息；

獲取音視頻信息中的基礎數據和mate信息，根據所述基礎數據和mate信息構建一級標簽；

根據所述一級標簽構建一階索引，并將所述一階索引存儲于非關系型數據庫中；

通過所述AI算法識別每一音視頻內容信息，并提取所述標簽信息構建二級標簽；

根據所述二級標簽構建二階索引，通過查詢所述二階索引對所述音視頻進行查詢定位。

根據本發明其中一個較佳實施例，所述方法包括通過AI算法獲取包括音視頻數據中的文件ID和標簽ID，并將所述文件ID和標簽ID構建聯合索引，并將所述文件ID和標簽ID構建聯合索引以及標簽ID作為唯一索引存儲于非關系型數據庫中。

根據本發明另一個較佳實施例，所述方法還包括：將通過所述AI算法獲取的標簽后，根據標簽的類型進行分區，獲取每一分區標簽的文件ID和標簽ID作為對應分區的聯合索引。

根據本發明另一個較佳實施例，所述一階索引包括文件的基礎信息和文件meta信息，所述二階索引包括音視頻內容信息，其中所述音視頻內容信息包括：機構、地點、人物和場景，將所述基礎信息中的文件ID和標簽ID和對應的文件內容信息組裝成結構化索引。

根據本發明另一個較佳實施例，所述方法包括：通過關鍵詞查找并命中一階索引中的文件ID和標簽ID，并根據所述文件ID和標簽ID獲取二階索引中的內容信息，并根據所述內容信息對文件進行全量索引查詢，獲取最終查詢到的文件。