[發明專利]一種基于AI算法的媒體文件多模檢索方法和系統

在審

• 申請號: 202210604891.6
• 申請日: 2022-05-30
• 公開（公告）號: CN115017339A
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 甘江威;方露露;楊叢聿
• 申請（專利權）人: 新華智云科技有限公司
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/483;G06F16/487;G06F16/36;G06F16/953
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 楊琪宇

1.一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述方法包括：

對音視頻信息采用現有對應AI算法獲取音視頻中的標簽信息；

獲取音視頻信息中的基礎數據和mate信息，根據所述基礎數據和mate信息構建一級標簽；

根據所述一級標簽構建一階索引，并將所述一階索引存儲于非關系型數據庫中；

通過所述AI算法識別每一音視頻內容信息，并提取所述標簽信息構建二級標簽；

根據所述二級標簽構建二階索引，通過查詢所述二階索引對所述音視頻進行查詢定位。

2.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述方法包括通過AI算法獲取包括音視頻數據中的標簽ID，并獲取文件自身的文件ID，并將所述文件ID和標簽ID構建聯合索引，并將所述文件ID和標簽ID構建聯合索引以及標簽ID作為唯一索引存儲于非關系型數據庫中。

3.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述方法還包括：將通過所述AI算法獲取的標簽信息后，根據標簽信息的類型進行分區，獲取每一分區標簽的文件ID和標簽ID作為對應分區的聯合索引。

4.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述一階索引包括文件的基礎信息和文件meta信息，所述二階索引包括音視頻內容信息，其中所述音視頻內容信息包括：機構、地點、人物和場景，將所述基礎信息中的文件ID和標簽ID和對應的文件內容信息組裝成結構化索引。

5.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述方法包括：通過關鍵詞查找并命中一階索引中的文件ID和標簽ID，并根據所述文件ID和標簽ID獲取二階索引中的內容信息，并根據所述內容信息對文件進行全量索引查詢，獲取最終查詢到的文件。

6.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述一階索引的構建方法包括：利用ASR算法和OCR算法識別對應音視頻信息中的文本信息，并對識別的文本信息中的基礎數據和meta數據進行分詞處理，得到用于構建一階索引的關鍵詞標簽信息。

7.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，所述一階索引構建方法包括：利用NLP和視頻標簽構建知識圖譜，并將所述知識圖譜作為一階索引結構，去除一階段索引中的時間信息。

8.根據權利要求1所述的一種基于AI算法的媒體文件多模檢索方法，其特征在于，根據所述標簽類型進行分區的方法包括：根據不同的文件類型生成對應的分區關鍵詞，所述分區關鍵詞將對應文檔中識別的基礎信息、meta信息和內容信息進行分區存儲。

9.一種基于AI算法的媒體文件多模檢索系統，其特征在于，所述系統執行權利要求1-8中任意一項所述的一種基于AI算法的媒體文件多模檢索方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序可被處理器執行權利要求1-8中任意一項所述一種AI算法的媒體文件多模檢索方法。