[發明專利]一種基于時間與空間的視頻去反光方法在審
| 申請號： | 202211031456.5 | 申請日： | 2022-08-26 |
| 公開（公告）號： | CN115424173A | 公開（公告）日： | 2022-12-02 |
| 發明（設計）人： | 楊柏林;李海東;宋超 | 申請（專利權）人： | 浙江工商大學 |
| 主分類號： | G06V20/40 | 分類號： | G06V20/40;G06V10/74;G06V10/44;G06N3/08;G06N3/04 |
| 代理公司： | 杭州奧創知識產權代理有限公司 33272 | 代理人： | 王佳健 |
| 地址： | 310018 浙江*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 時間 空間 視頻 反光 方法 | ||
1.一種基于時間與空間的視頻去反光方法，其特征在于具體包括以下步驟：
步驟一：使用視頻數據集，按照一定的比例劃分訓練集和測試集；
分別將數據集的訓練集和測試集，都使用反光圖片制作的方式生成反光視頻幀，用于訓練和測試；
步驟二：將測試集反光視頻幀和真實值輸入到網絡模型中，使用編碼器獲取視頻幀的特征信息；
步驟三：獲取像素的位置信息；
步驟四：將步驟二獲取得到的第一特征信息，以及經過步驟三獲取的位置信息共同輸入到時空間卷積自注意力子網絡中，獲取第二特征信息；
時空間卷積自注意力子網絡的操作過程如下：
S1，使用三個相互獨立CNN分別對輸入特征X進行卷積操作，獲得三個輸出Q、K和V；
S2，將Q轉置后與K相乘并計算相似度，得到的結果再與V相乘；
S3，將S2得到的結果與Q轉置在通道上相加，得到初步特征，再將輸入特征X與初步特征在通道上相加，得到時空間卷積自注意力子網絡的輸出；
步驟五：對于步驟四輸出的特征信息，使用預訓練好的VGG-19網絡作為增強策略，提取超列特征；
步驟六：使用步驟五獲得的超列特征，輸入到去反光模塊當中；
步驟七：使用重建模塊生成去反光后的視頻幀，并輸出；
重復步驟二至步驟七訓練網絡模型；
步驟八：在網絡訓練結束后，將測試集輸入網絡模型，對網絡模型輸出的去反光視頻幀進行評價和測試網絡性能指標。
2.根據權利要求1所述的一種基于時間與空間的視頻去反光方法，其特征在于：步驟一所述反光視頻幀定義為：
It＝αBt+(1-α)Rt
其中It、Bt和Rt分別表示反光視頻幀、背景層和反光層，α是0到1之間的混合參數。
3.根據權利要求1所述的一種基于時間與空間的視頻去反光方法，其特征在于：步驟二所述編碼器是由殘差塊組合而成。
4.根據權利要求1所述的一種基于時間與空間的視頻去反光方法，其特征在于：步驟六所述去反光模塊是由十三個卷積殘差塊堆疊組合而成。
5.根據權利要求1所述的一種基于時間與空間的視頻去反光方法，其特征在于：步驟七所述重建模塊使用八個密集殘差塊堆疊組合而成，其中密集殘差塊是由卷積塊、激活函數和卷積塊組成，并且將重建模塊的輸入和密集殘差塊的輸出在通道上進行相加。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浙江工商大學，未經浙江工商大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202211031456.5/1.html，轉載請聲明來源鉆瓜專利網。
