[發(fā)明專利]一種基于深度學(xué)習(xí)的視頻壓縮方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010090527.3
• 申請(qǐng)日: 2020-02-13
• 公開（公告）號(hào): CN111294604B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 馮落落;李銳;金長(zhǎng)新
• 申請(qǐng)（專利權(quán)）人: 山東新一代信息產(chǎn)業(yè)技術(shù)研究院有限公司
• 主分類號(hào): H04N19/91
• 分類號(hào): H04N19/91;H04N19/172;H04N19/124;H04N19/42;H04N19/51;H04N19/44;G06N3/08;G06N3/04
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫園園

本發(fā)明公開了一種基于深度學(xué)習(xí)的視頻壓縮方法，屬于視頻壓縮及深度學(xué)習(xí)領(lǐng)域，本發(fā)明要解決的技術(shù)問題為如何實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果，采用的技術(shù)方案為：該方法是使用由光流網(wǎng)絡(luò)、運(yùn)動(dòng)向量編碼網(wǎng)絡(luò)及運(yùn)動(dòng)向量解碼網(wǎng)絡(luò)組成的Spynet運(yùn)動(dòng)估計(jì)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償計(jì)算，達(dá)到更好的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償效果；再使用的殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)包括兩個(gè)Resblock模塊，實(shí)現(xiàn)在層次更深的情況進(jìn)行網(wǎng)絡(luò)的訓(xùn)練；再使用算術(shù)熵編碼操作完成編碼，并存儲(chǔ)為Pickle文件，實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻壓縮及深度學(xué)習(xí)領(lǐng)域，具體地說是一種基于深度學(xué)習(xí)的視頻壓縮方法。

背景技術(shù)

如今，視頻成為大眾進(jìn)行信息傳播的主要媒介。尤其是自媒體的發(fā)展，視頻數(shù)據(jù)呈爆發(fā)式的增長(zhǎng)。在我們國(guó)家，監(jiān)控視頻的數(shù)據(jù)在視頻領(lǐng)域中占的比例很大，因此如何對(duì)視頻進(jìn)行壓縮，并且進(jìn)行存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果成為了亟待解決的問題?；谏疃葘W(xué)習(xí)的視頻壓縮方法目前已經(jīng)成為最近研究的主流方向?；谏疃葘W(xué)習(xí)的視頻壓縮方法已經(jīng)成為目前的主流方法的H.264和H.265的有力競(jìng)爭(zhēng)者。傳統(tǒng)的視頻壓縮框架H.264、H.265采用運(yùn)動(dòng)估計(jì)、非線性變化、運(yùn)動(dòng)補(bǔ)償、熵編碼等算法，但是壓縮效果一般。

專利號(hào)為CN109951710A的專利文獻(xiàn)公開了一種基于深度學(xué)習(xí)的機(jī)坪監(jiān)控視頻壓縮方法及系統(tǒng)，包括：一、生成背景圖片；二、確定每一幀圖像整體的亮度、顏色和燈光整體參數(shù)；三、記錄航站樓、登機(jī)橋的亮燈和關(guān)燈兩種狀態(tài)的圖片、亮燈時(shí)間范圍以及建筑位置；四、使用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)將原始視頻中的每一幀圖像中的飛機(jī)、車輛和人檢測(cè)出來，并將這些檢測(cè)到的物體根據(jù)算法定位的位置裁剪下來；五、將步驟1至步驟4處理的內(nèi)容以結(jié)點(diǎn)的形式按照處理的順序依次存入鏈表；六、解壓視頻；七、將建筑物圖片覆蓋到已經(jīng)渲染好的背景圖片中；八、將若干個(gè)物體視頻從鏈表中取出，將視頻中的每一幀圖片根據(jù)位置信息覆蓋到相應(yīng)的背景圖片中，將這些圖片以每秒25幀的速度播放。但是該技術(shù)方案如何實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是提供一種基于深度學(xué)習(xí)的視頻壓縮方法，來解決如何實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果的問題。

本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，一種基于深度學(xué)習(xí)的視頻壓縮方法，該方法是使用由光流網(wǎng)絡(luò)(optical Flow Net)、運(yùn)動(dòng)向量編碼網(wǎng)絡(luò)(MV Encoder Net)及運(yùn)動(dòng)向量解碼網(wǎng)絡(luò)(MV Decoder Net)組成的Spynet運(yùn)動(dòng)估計(jì)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償計(jì)算，達(dá)到更好的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償效果；再使用的殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)包括兩個(gè)Resblock模塊，實(shí)現(xiàn)在層次更深的情況進(jìn)行網(wǎng)絡(luò)的訓(xùn)練；再使用算術(shù)熵編碼操作完成編碼，并存儲(chǔ)為Pickle文件，實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果。

作為優(yōu)選，該方法具體如下：

S1、視頻拆分成每一幀圖片，輸入當(dāng)前幀圖片x_t和上一幀的重構(gòu)圖片到光流網(wǎng)絡(luò)(optical Flow Net)，獲得當(dāng)前幀的運(yùn)動(dòng)向量v_t；

S2、把運(yùn)動(dòng)向量v_t通過運(yùn)動(dòng)向量編碼網(wǎng)絡(luò)(MV Encoder Net)進(jìn)行編碼，獲得編碼后的結(jié)果m_t；

S3、對(duì)m_t進(jìn)行量化Q得到量化后的結(jié)果確保使用熵編碼對(duì)m_t進(jìn)行存儲(chǔ)；

S4、把作為當(dāng)前幀的所需要存儲(chǔ)的內(nèi)容之一，再把通過運(yùn)動(dòng)向量解碼網(wǎng)絡(luò)(MV Decoder Net)或者當(dāng)前幀x_t的重構(gòu)運(yùn)動(dòng)向量

S5、把和上一幀的重構(gòu)圖片輸入到運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)(Motion compensationNet)獲得當(dāng)前幀的預(yù)測(cè)幀