[發(fā)明專利]一種基于物體導(dǎo)向外部記憶模塊的視頻物體檢測(cè)模型有效
| 申請(qǐng)?zhí)枺?/td> | 202010097320.9 | 申請(qǐng)日： | 2020-02-17 |
| 公開（公告）號(hào)： | CN111339863B | 公開（公告）日： | 2022-12-20 |
| 發(fā)明（設(shè)計(jì)）人： | 馬汝輝;鄧瀚銘;宋濤;華揚(yáng);管海兵 | 申請(qǐng)（專利權(quán)）人： | 上海交通大學(xué) |
| 主分類號(hào)： | G06V20/40 | 分類號(hào)： | G06V20/40;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 上海旭誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 31220 | 代理人： | 鄭立 |
| 地址： | 200240 *** | 國(guó)省代碼： | 上海;31 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 物體 導(dǎo)向 外部 記憶 模塊 視頻 檢測(cè) 模型 | ||
1.一種基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，包括外部記憶模塊，以及與所述外部記憶模塊相連接的外部記憶輸入模塊和外部記憶輸出模塊；
所述外部記憶模塊為物體導(dǎo)向的多級(jí)外部記憶模塊；
所述外部記憶模塊包括特征存儲(chǔ)矩陣，用于存儲(chǔ)特征；
所述特征由所述外部記憶輸入模塊從特征圖中進(jìn)行選擇并輸入；
所述外部記憶輸出模塊將所述外部記憶模塊中的所述特征輸出到所述特征圖中；
所述視頻檢測(cè)模型還包括物體檢測(cè)模塊，所述物體檢測(cè)模塊包括物體檢測(cè)框；
所述物體檢測(cè)框?qū)⑽挥谒鑫矬w檢測(cè)框內(nèi)的所述特征圖上的所述特征裁出；
所述外部記憶輸入模塊根據(jù)所述物體檢測(cè)框的置信度進(jìn)行所述特征的選擇；
如果所述物體檢測(cè)框的所述置信度高于設(shè)定的閾值，則將位于所述物體檢測(cè)框內(nèi)的所述特征圖上的所述特征輸入所述外部記憶模塊中；
如果所述外部記憶模塊中存在與輸入的所述外部記憶模塊中的所述特征相似的特征，則根據(jù)點(diǎn)積注意力機(jī)制留下置信度最高的所述特征，去除置信度不是最高的所述特征；
視頻檢測(cè)模型的檢測(cè)方法包括以下步驟：
步驟1、按時(shí)間順序輸入視頻幀，所述視頻檢測(cè)模型對(duì)所述視頻幀按幀提取卷積特征，形成所述視頻幀的深度卷積網(wǎng)絡(luò)特征圖；
步驟2、所述外部記憶模塊讀入所述步驟1中形成的所述深度卷積網(wǎng)絡(luò)特征圖，進(jìn)行所述點(diǎn)積注意力的操作，形成所述點(diǎn)積注意力矩陣，并根據(jù)所述點(diǎn)積注意力矩陣將所述外部記憶模塊中的所述卷積特征聚合到所述深度卷積網(wǎng)絡(luò)特征圖上；
步驟3、經(jīng)過聚合的所述深度卷積網(wǎng)絡(luò)特征圖被用于所述物體檢測(cè)模塊進(jìn)行物體檢測(cè)，輸出所述視頻幀的物體邊框和置信度；
步驟4、所述外部記憶輸入模塊根據(jù)檢測(cè)出的所述物體邊框，將所述置信度大于設(shè)定的閾值的所述物體邊框內(nèi)的所述卷積特征從經(jīng)過聚合的所述深度卷積網(wǎng)絡(luò)特征圖上裁處并輸入到所述外部記憶模塊中；
步驟5、繼續(xù)檢測(cè)下一幀，直到視頻結(jié)束。
2.如權(quán)利要求1所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，所述外部記憶輸出模塊根據(jù)所述特征圖的所述點(diǎn)積注意力從所述外部記憶模塊中的所述特征中選擇與所述特征圖相關(guān)的所述特征，并輸出到所述特征圖中。
3.如權(quán)利要求2所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，所述特征圖來自于一幀圖像；所述特征圖為深度卷積網(wǎng)絡(luò)特征圖；所述特征為卷積特征。
4.如權(quán)利要求3所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，所述一幀圖像來自于視頻；所述視頻包含多幀圖像；所述多幀圖像按照時(shí)間順序排列。
5.如權(quán)利要求1所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，所述特征存儲(chǔ)矩陣中所存儲(chǔ)的所述特征的數(shù)量可變。
6.如權(quán)利要求1所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，在所述步驟3中還輸出所述視頻幀的物體種類。
7.如權(quán)利要求1所述的基于物體導(dǎo)向的外部記憶模塊的視頻檢測(cè)模型，其特征在于，在開始步驟5之前，所述方法還進(jìn)行如下判斷：如果所述外部記憶模塊中存在與輸入的所述外部記憶模塊中的所述卷積特征相似的特征，則根據(jù)點(diǎn)積注意力機(jī)制留下置信度最高的所述卷積特征，去除置信度不是最高的所述卷積特征。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于上海交通大學(xué)，未經(jīng)上海交通大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010097320.9/1.html，轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
