[發明專利]一種基于Resnet-Bert網絡模型的跨媒體檢索方法

在審

• 申請號: 202010767866.0
• 申請日: 2020-08-03
• 公開（公告）號: CN111949806A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 閆盈盈;張婧慧;灑科進;曹揚;丁劍飛
• 申請（專利權）人: 中電科大數據研究院有限公司
• 主分類號: G06F16/43
• 分類號: G06F16/43;G06F16/45;G06N3/04;G06N3/08
• 代理公司: 貴州派騰知識產權代理有限公司 52114
• 代理人: 宋妍麗

本發明提供了一種基于Resnet?Bert網絡模型的跨媒體檢索方法；采用Resnet?Bert網絡模型，對圖像數據、文本數據、視頻數據和音頻數據中的至少一種數據進行分類檢索，返回對應的分類結果。本發明與傳統的兩種媒體類型互相檢索相比，四種媒體類型的相互檢索更能夠實現較為廣泛的市場應用；采用了效果較佳的Resnet卷積神經網絡模型和目前在11項自然語言處理方面領先的Bert模型，模型本身能夠得到更高層、更抽象以及更豐富的特征表達；使用的四種模態數據，信息間相互遷移，關聯學習加強，實現了更強的知識表示能力；得益于計算機性能的提升，Resnet?Bert網絡模型經過復雜的計算，能夠實現較好的跨媒體訓練效果和跨媒體檢索效果。

技術領域

本發明涉及一種基于Resnet-Bert網絡模型的跨媒體檢索方法，屬于。

背景技術

大數據時代，多種媒體數據類型，如文本、圖像、視頻、音頻等已經成為了人們獲取知識的主要數據形式。越來越多的用戶渴望通過多種媒體數據內容及其之間的相互關聯關系學習和掌握更為全面的知識信息，輔助自身的認知和問題的解決。

檢索是用戶獲取知識的常用方式之一，傳統的跨媒體檢索研究主要集中在以文搜圖和以圖搜文兩種媒體數據之間。事實上，隨著大數據時代的來臨，人們通過互聯網會產生大量的文本數據如新聞報道、微博淘寶等評論數據、微信聊天記錄、彈幕數據等，圖片數據如表情包、文章配圖、手機照片、醫療影像等，視頻數據如抖音、快手等視頻媒體軟件數據、城市攝像頭數據等，同時伴隨著有音頻信息，如微信語音、視頻配音等信息。在人們信息交流的過程中，上述的四種媒體常常會同時出現且語義具有相關性。但現有跨媒體檢索技術都局限于兩種媒體數據之間，事實上，這種搜索已經不能夠滿足人們日益增加的數據檢索需求，尤其存在著跨模態檢索精度低的問題。

發明內容

為解決上述技術問題，本發明提供了一種基于Resnet-Bert網絡模型的跨媒體檢索方法，該基于Resnet-Bert網絡模型的跨媒體檢索方法能在圖像、視頻、音頻以及文本四種媒體類型數據之間建立跨媒體統一表征空間，實現了更高的跨模態檢索精度。

本發明通過以下技術方案得以實現。

本發明提供的一種基于Resnet-Bert網絡模型的跨媒體檢索方法；采用Resnet-Bert網絡模型，對圖像數據、文本數據、視頻數據和音頻數據中的至少一種數據進行分類檢索，返回對應的分類結果；當對圖像數據、文本數據、視頻數據和音頻數據中至少兩種進行分類檢索時，進行檢索的圖像數據、文本數據、視頻數據或音頻數據語義類別一致；Resnet-Bert網絡模型對圖像數據、視頻數據和音頻數據進行分類檢索時采用Resnet模型，對文本數據進行分類檢索時采用Bert模型。

所述Resnet-Bert網絡模型通過圖像數據、視頻數據、音頻數據和文本數據的聯合數據訓練而成；每一項聯合數據中，圖像數據、視頻數據、音頻數據和文本數據的分類標簽一致。

所述圖像數據、視頻數據均通過對源數據進行圖像轉化、圖像裁剪、去中心化、標準化操作后得到。

所述音頻數據通過對源數據進行傅里葉變換、圖像轉化、圖像裁剪、去中心化、標準化操作后得到。

所述文本數據通過對源數據進行數據解碼、不規范字符檢查、移除表情符、去除URL、去中心化、標準化、固定文本長度操作后得到。

所述Resnet-Bert網絡模型中，Resnet模型接受圖像數據、視頻數據和音頻數據的輸入，Bert模型接受文本數據的輸入，Resnet模型和 Bert模型的輸出接入至統一表征空間，統一表征空間輸出分類結果。

所述Resnet模型為Resnet50卷積神經網絡。

所述Bert模型通過多項雙層的Transformer編碼器構建。

所述統一表征空間為全連接層神經網絡。