[發明專利]一種基于Resnet-Bert網絡模型的跨媒體檢索方法在審
| 申請號： | 202010767866.0 | 申請日： | 2020-08-03 |
| 公開（公告）號： | CN111949806A | 公開（公告）日： | 2020-11-17 |
| 發明（設計）人： | 閆盈盈;張婧慧;灑科進;曹揚;丁劍飛 | 申請（專利權）人： | 中電科大數據研究院有限公司 |
| 主分類號： | G06F16/43 | 分類號： | G06F16/43;G06F16/45;G06N3/04;G06N3/08 |
| 代理公司： | 貴州派騰知識產權代理有限公司 52114 | 代理人： | 宋妍麗 |
| 地址： | 550000 貴州省貴陽市貴陽*** | 國省代碼： | 貴州;52 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 resnet bert 網絡 模型 媒體 檢索 方法 | ||
1.一種基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：采用Resnet-Bert網絡模型，對圖像數據、文本數據、視頻數據和音頻數據中的至少一種數據進行分類檢索，返回對應的分類結果；當對圖像數據、文本數據、視頻數據和音頻數據中至少兩種進行分類檢索時，進行檢索的圖像數據、文本數據、視頻數據或音頻數據語義類別一致；Resnet-Bert網絡模型對圖像數據、視頻數據和音頻數據進行分類檢索時采用Resnet模型，對文本數據進行分類檢索時采用Bert模型。
2.如權利要求1所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述Resnet-Bert網絡模型通過圖像數據、視頻數據、音頻數據和文本數據的聯合數據訓練而成；每一項聯合數據中，圖像數據、視頻數據、音頻數據和文本數據的分類標簽一致。
3.如權利要求2所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述圖像數據、視頻數據均通過對源數據進行圖像轉化、圖像裁剪、去中心化、標準化操作后得到。
4.如權利要求2所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述音頻數據通過對源數據進行傅里葉變換、圖像轉化、圖像裁剪、去中心化、標準化操作后得到。
5.如權利要求2所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述文本數據通過對源數據進行數據解碼、不規范字符檢查、移除表情符、去除URL、去中心化、標準化、固定文本長度操作后得到。
6.如權利要求1所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述Resnet-Bert網絡模型中，Resnet模型接受圖像數據、視頻數據和音頻數據的輸入，Bert模型接受文本數據的輸入，Resnet模型和Bert模型的輸出接入至統一表征空間，統一表征空間輸出分類結果。
7.如權利要求1所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述Resnet模型為Resnet50卷積神經網絡。
8.如權利要求1所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述Bert模型通過多項雙層的Transformer編碼器構建。
9.如權利要求6所述的基于Resnet-Bert網絡模型的跨媒體檢索方法，其特征在于：所述統一表征空間為全連接層神經網絡。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中電科大數據研究院有限公司，未經中電科大數據研究院有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010767866.0/1.html，轉載請聲明來源鉆瓜專利網。
