[發(fā)明專利]視頻質(zhì)量預(yù)測(cè)方法和裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911149140.4
• 申請(qǐng)日: 2019-11-21
• 公開（公告）號(hào): CN110958467B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 李馬丁;王斌;錢立輝;章佳杰;鄭云飛;于冰
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): H04N21/234
• 分類號(hào): H04N21/234;H04N21/44;G06K9/62;G06N3/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 路曉丹

1.一種視頻質(zhì)量預(yù)測(cè)方法，其特征在于，包括：

從視頻流采集包括多個(gè)視頻塊的視頻包，根據(jù)視頻流標(biāo)簽確定所述視頻包的失真分類標(biāo)簽或非失真分類標(biāo)簽；

根據(jù)對(duì)所述視頻包的標(biāo)注結(jié)果確定所述視頻包的評(píng)分值；

將所述視頻包的多個(gè)視頻塊作為訓(xùn)練數(shù)據(jù)輸入分類預(yù)測(cè)模型，利用所述分類預(yù)測(cè)模型進(jìn)行分類預(yù)測(cè)和評(píng)分值預(yù)測(cè)，以輸出該視頻包的失真分類標(biāo)簽、非失真分類標(biāo)簽和評(píng)分值為目標(biāo)進(jìn)行分類預(yù)測(cè)模型的參數(shù)調(diào)整，其中，通過所述分類預(yù)測(cè)模型中的特征提取網(wǎng)絡(luò)部分對(duì)各視頻塊進(jìn)行特征數(shù)據(jù)提取；通過所述分類預(yù)測(cè)模型中的評(píng)分網(wǎng)絡(luò)部分，根據(jù)提取的特征數(shù)據(jù)進(jìn)行分類預(yù)測(cè)和評(píng)分值預(yù)測(cè)；通過所述分類預(yù)測(cè)模型中的特征提取網(wǎng)絡(luò)部分，對(duì)各視頻塊進(jìn)行特征數(shù)據(jù)提取，得到視頻包中的每個(gè)視頻塊對(duì)應(yīng)的特征數(shù)據(jù)；將得到的每個(gè)視頻塊對(duì)應(yīng)的特征數(shù)據(jù)進(jìn)行池化操作，得到該視頻包的特征數(shù)據(jù)，所述評(píng)分網(wǎng)絡(luò)部分根據(jù)視頻包的特征數(shù)據(jù)得到該視頻包的分類標(biāo)簽和評(píng)分值；

利用參數(shù)調(diào)整結(jié)束后得到的質(zhì)量預(yù)測(cè)模型，對(duì)從待質(zhì)量預(yù)測(cè)的視頻流中采集的視頻包進(jìn)行分類預(yù)測(cè)和分?jǐn)?shù)預(yù)測(cè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，以輸出該視頻包的失真分類標(biāo)簽、非失真分類標(biāo)簽和評(píng)分值為目標(biāo)進(jìn)行分類預(yù)測(cè)模型的參數(shù)調(diào)整，包括：

以輸出該視頻包的失真分類標(biāo)簽、非失真分類標(biāo)簽和評(píng)分值為目標(biāo)，根據(jù)計(jì)算特征提取網(wǎng)絡(luò)部分誤差的第一損失函數(shù)，和計(jì)算評(píng)分網(wǎng)絡(luò)部分誤差的第二損失函數(shù)得到總的模型誤差；

根據(jù)總的模型誤差對(duì)特征提取網(wǎng)絡(luò)部分和評(píng)分網(wǎng)絡(luò)部分同時(shí)進(jìn)行參數(shù)調(diào)整。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定計(jì)算特征提取網(wǎng)絡(luò)部分誤差的第一損失函數(shù)，包括：

通過特征提取網(wǎng)絡(luò)部分的網(wǎng)絡(luò)分支獲得視頻包中的多個(gè)視頻塊及對(duì)應(yīng)的參考視頻塊之間的參考均方差MSE，根據(jù)所述多個(gè)視頻塊的參考MSE確定第一損失函數(shù)的計(jì)算結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述多個(gè)視頻塊的參考MSE確定第一損失函數(shù)的計(jì)算結(jié)果，包括：

根據(jù)所述多個(gè)視頻塊的參考MSE，確定所述多個(gè)視頻塊屬于對(duì)應(yīng)的不同失真程度標(biāo)簽的參考概率，所述不同失真程度標(biāo)簽包括至少3個(gè)失真程度；

通過歸一化指數(shù)函數(shù)，根據(jù)特征提取網(wǎng)絡(luò)部分提取的特征數(shù)據(jù)確定各視頻塊屬于各失真程度標(biāo)簽的預(yù)測(cè)概率；

根據(jù)所述參考概率和預(yù)測(cè)概率確定各失真程度標(biāo)簽對(duì)應(yīng)的真實(shí)概率，根據(jù)所述真實(shí)概率和預(yù)測(cè)概率計(jì)算預(yù)測(cè)交叉熵，得到第一損失函數(shù)的計(jì)算結(jié)果。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定計(jì)算評(píng)分網(wǎng)絡(luò)部分誤差的第二損失函數(shù)，包括：

根據(jù)分類預(yù)測(cè)模型的分類預(yù)測(cè)的分類概率和分類標(biāo)簽，確定每個(gè)分類對(duì)應(yīng)的真實(shí)概率；

根據(jù)所述每個(gè)分類對(duì)應(yīng)的真實(shí)概率，及分類預(yù)測(cè)的分類概率計(jì)算預(yù)測(cè)交叉熵，并根據(jù)分類預(yù)測(cè)模型的評(píng)分值預(yù)測(cè)結(jié)果和評(píng)分值計(jì)算分?jǐn)?shù)誤差；

根據(jù)預(yù)測(cè)交叉熵和分?jǐn)?shù)誤差，得到第二損失函數(shù)的計(jì)算結(jié)果。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述第一損失函數(shù)和第二損失函數(shù)得到總的模型誤差，包括：

Loss＝λ₁*L₁+λ₂*L₂+λ₃*L2_loss

其中，Loss為總的模型誤差，λ₁，λ₂和λ₃為設(shè)置的損失權(quán)重，L₁為所述第一損失函數(shù)的計(jì)算結(jié)果，L₂為所述第二損失函數(shù)的計(jì)算結(jié)果，L2_loss為設(shè)置的正則項(xiàng)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，將得到的每個(gè)視頻塊對(duì)應(yīng)的特征數(shù)據(jù)進(jìn)行池化操作，得到該視頻包的特征數(shù)據(jù)，包括：

從得到的每個(gè)視頻塊對(duì)應(yīng)的不同位置的特征數(shù)據(jù)中，分別在不同位置提取最大的特征數(shù)據(jù)，得到該視頻包的特征數(shù)據(jù)。