[發(fā)明專利]一種基于短時(shí)時(shí)空融合網(wǎng)絡(luò)和長(zhǎng)時(shí)序列融合網(wǎng)絡(luò)的無參考視頻質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110992742.7
• 申請(qǐng)日: 2021-08-27
• 公開（公告）號(hào): CN113784113A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 史萍;王雪婷;潘達(dá)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)傳媒大學(xué)
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了一種基于短時(shí)時(shí)空融合網(wǎng)絡(luò)和長(zhǎng)時(shí)序列融合網(wǎng)絡(luò)的無參考視頻質(zhì)量評(píng)價(jià)方法，將視頻幀依次通過兩種計(jì)算不同時(shí)間長(zhǎng)度的網(wǎng)絡(luò)來實(shí)現(xiàn)質(zhì)量的預(yù)測(cè)。短時(shí)時(shí)空融合網(wǎng)絡(luò)用于提取并融合當(dāng)前幀的時(shí)空特征，得到當(dāng)前幀中時(shí)間特征作用于空間特征后的結(jié)果。長(zhǎng)時(shí)序列融合網(wǎng)絡(luò)用于在先驗(yàn)知識(shí)的指導(dǎo)下對(duì)一段時(shí)間內(nèi)各幀之間相互作用的結(jié)果進(jìn)行建模并預(yù)測(cè)視頻的質(zhì)量分?jǐn)?shù)。本方法以視頻幀作為輸入，通過在幀級(jí)別上設(shè)計(jì)網(wǎng)絡(luò)從而融合時(shí)間和空間特征，在序列級(jí)別上考慮幀間關(guān)系從而進(jìn)一步細(xì)化當(dāng)前幀特征的方式，利用深度學(xué)習(xí)預(yù)測(cè)一段視頻中各幀的質(zhì)量，最終完成對(duì)視頻整體質(zhì)量評(píng)價(jià)的任務(wù)。本發(fā)明由于細(xì)化且豐富了視頻幀的特征，因此在模型性能上有了顯著提高。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于短時(shí)時(shí)空融合網(wǎng)絡(luò)和長(zhǎng)時(shí)序列融合網(wǎng)絡(luò)的無參考視頻質(zhì)量評(píng)價(jià)方法，屬于數(shù)字視頻處理技術(shù)領(lǐng)域。

背景技術(shù)

視頻作為視覺信息的一種復(fù)雜來源,蘊(yùn)含了大量的有價(jià)值信息。視頻質(zhì)量的好壞直接影響到人們的主觀感受和信息量獲取,并且可以指導(dǎo)相關(guān)設(shè)備研發(fā)、系統(tǒng)監(jiān)測(cè)、質(zhì)量恢復(fù)等其他視頻任務(wù)，視頻質(zhì)量評(píng)價(jià)(Video Quality Assessment,VQA)的研究也在近幾年受到廣泛的重視。

視頻質(zhì)量評(píng)價(jià)方法可以分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)是由觀察者對(duì)視頻質(zhì)量進(jìn)行主觀評(píng)分，雖然評(píng)分結(jié)果符合人的主觀感受但同時(shí)具有工作量大、耗時(shí)長(zhǎng)等缺點(diǎn)；客觀評(píng)價(jià)方法是由計(jì)算機(jī)根據(jù)一定算法計(jì)算得到視頻的質(zhì)量指標(biāo)，根據(jù)評(píng)價(jià)時(shí)是否需要參考視頻又可以分為全參考(Full Reference,FR)、半?yún)⒖?部分參考)(ReducedReference,RR)和無參考(No Reference,NR)這三類評(píng)價(jià)方法：

(1)全參考視頻質(zhì)量評(píng)價(jià)方法。FR算法是指在給定理想視頻作為參考視頻的標(biāo)準(zhǔn)下，比較待評(píng)價(jià)視頻與參考視頻之間的差異，分析待評(píng)價(jià)視頻的失真程度，從而得到待評(píng)價(jià)視頻的質(zhì)量評(píng)估結(jié)果。常見的FR方法的有：基于視頻像素統(tǒng)計(jì)的視頻質(zhì)量評(píng)價(jià)(主要有峰值信噪比和均方誤差)、基于深度學(xué)習(xí)的視頻質(zhì)量評(píng)價(jià)、基于結(jié)構(gòu)信息的視頻質(zhì)量評(píng)價(jià)(主要為結(jié)構(gòu)相似度)。FR算法是目前為止在客觀視頻質(zhì)量評(píng)價(jià)中最可靠的方法。

(2)半?yún)⒖家曨l質(zhì)量評(píng)價(jià)方法。RR算法是指提取參考視頻的部分特征信息作為參考，對(duì)待評(píng)價(jià)視頻進(jìn)行比較分析，從而得到視頻的質(zhì)量評(píng)估結(jié)果。常見的RR算法主要為：基于原始視頻特征的方法和基于Wavelet域統(tǒng)計(jì)模型的方法。

(3)無參考視頻質(zhì)量評(píng)價(jià)方法。NR算法是指在沒有理想視頻的情況下，對(duì)待評(píng)價(jià)視頻進(jìn)行質(zhì)量評(píng)估的方法。常用的NR算法主要為：基于自然場(chǎng)景統(tǒng)計(jì)的方法、基于深度學(xué)習(xí)的方法。

針對(duì)視頻在獲取、處理、傳輸和記錄的過程中，由于成像系統(tǒng)、處理方法、傳輸介質(zhì)和記錄設(shè)備等不完善，加之物體運(yùn)動(dòng)、噪聲干擾等原因所造成的失真和降質(zhì)，視頻在正式使用之前往往需要進(jìn)行質(zhì)量衡量。在不使用人力資源和參考視頻的情況下直接由失真視頻得到其質(zhì)量的方法稱為客觀無參考視頻質(zhì)量評(píng)價(jià)。

中國(guó)專利CN201811071199.1公開了一種基于層級(jí)特征融合網(wǎng)絡(luò)的無參考圖像質(zhì)量評(píng)價(jià)方法，主要解決現(xiàn)有技術(shù)精度低、速度慢的問題。其實(shí)現(xiàn)方案是：從MSCOCO數(shù)據(jù)集挑選參考圖像并通過添加噪聲建立污染圖像數(shù)據(jù)庫；對(duì)訓(xùn)練集圖像和測(cè)試集圖像同時(shí)進(jìn)行去均值與裁剪；根據(jù)人類視覺系統(tǒng)從局部特征到全局語義的分層次處理機(jī)制，設(shè)計(jì)一個(gè)進(jìn)行端到端聯(lián)合優(yōu)化的層級(jí)特征融合網(wǎng)絡(luò)模型；利用訓(xùn)練集和測(cè)試集對(duì)層級(jí)特征融合網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；對(duì)待評(píng)測(cè)圖像進(jìn)行去均值與裁剪處理，將處理后的圖像輸入訓(xùn)練好的層級(jí)特征融合網(wǎng)絡(luò)模型，獲得圖像質(zhì)量預(yù)測(cè)分值；由此提高無參考質(zhì)量評(píng)價(jià)的精度與速度，可用于圖像篩選、壓縮、視頻質(zhì)量監(jiān)控。