[發(fā)明專利]多媒體數(shù)據(jù)處理方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010425694.9
• 申請(qǐng)日: 2020-05-19
• 公開（公告）號(hào): CN111597361B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 張亞彬;賀思穎
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/48
• 分類號(hào): G06F16/48;G06F16/438
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

1.一種多媒體數(shù)據(jù)處理方法，其特征在于，包括：

獲取樣本數(shù)據(jù)序列，所述樣本數(shù)據(jù)序列包括至少兩個(gè)樣本多媒體數(shù)據(jù)的清晰度標(biāo)簽；

按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，在識(shí)別模型中，依次預(yù)測(cè)所述至少兩個(gè)樣本多媒體數(shù)據(jù)的預(yù)測(cè)清晰度，獲取所述至少兩個(gè)樣本多媒體數(shù)據(jù)的預(yù)測(cè)清晰度對(duì)應(yīng)的輸出順序；

根據(jù)所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序、所述輸出順序、所述清晰度標(biāo)簽以及所述預(yù)測(cè)清晰度對(duì)所述識(shí)別模型進(jìn)行調(diào)整，將調(diào)整后的識(shí)別模型確定為目標(biāo)識(shí)別模型；所述目標(biāo)識(shí)別模型用于預(yù)測(cè)目標(biāo)多媒體數(shù)據(jù)的清晰度；

所述根據(jù)所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序、所述輸出順序、所述清晰度標(biāo)簽以及所述預(yù)測(cè)清晰度對(duì)所述識(shí)別模型進(jìn)行調(diào)整，包括：

獲取所述至少兩個(gè)樣本多媒體數(shù)據(jù)中，每個(gè)樣本多媒體數(shù)據(jù)的預(yù)測(cè)清晰度與對(duì)應(yīng)的清晰度標(biāo)簽之間的誤差，作為第一誤差；

將所述至少兩個(gè)樣本多媒體數(shù)據(jù)分別對(duì)應(yīng)的所述第一誤差之間的和，確定為所述識(shí)別模型的清晰度識(shí)別損失值；

根據(jù)所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序以及所述輸出順序，確定所述識(shí)別模型的順序識(shí)別損失值；

根據(jù)所述清晰度識(shí)別損失值以及所述順序識(shí)別損失值生成所述識(shí)別模型的總損失值；

若所述總損失值不滿足收斂條件，則根據(jù)所述總損失值對(duì)所述識(shí)別模型進(jìn)行調(diào)整。

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序以及所述輸出順序，確定所述識(shí)別模型的順序識(shí)別損失值，包括：

根據(jù)所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，確定相鄰的所述清晰度標(biāo)簽之間的第一變化差異；

根據(jù)所述輸出順序確定相鄰的所述預(yù)測(cè)清晰度之間的第二變化差異；

獲取所述第一變化差異與所述第二變化差異之間的乘積；

根據(jù)所述第一變化差異與所述第二變化差異之間的乘積，生成所述識(shí)別模型的順序識(shí)別損失值。

3.如權(quán)利要求1所述的方法，其特征在于，所述按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，在識(shí)別模型中，依次預(yù)測(cè)所述至少兩個(gè)樣本多媒體數(shù)據(jù)的預(yù)測(cè)清晰度，包括：

按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，在識(shí)別模型中，依次提取所述至少兩個(gè)樣本多媒體數(shù)據(jù)的語義特征信息以及視覺特征信息；

根據(jù)所述語義特征信息以及所述視覺特征信息預(yù)測(cè)所述至少兩個(gè)樣本多媒體數(shù)據(jù)的預(yù)測(cè)清晰度。

4.如權(quán)利要求3所述的方法，其特征在于，所述識(shí)別模型包括第一特征提取層以及第二特征提取層；所述按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，在識(shí)別模型中，依次提取所述至少兩個(gè)樣本多媒體數(shù)據(jù)的語義特征信息以及視覺特征信息，包括：

按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，采用所述第一特征提取層依次提取所述至少兩個(gè)樣本多媒體數(shù)據(jù)的像素信息；

采用所述像素信息生成所述至少兩個(gè)樣本多媒體數(shù)據(jù)的視覺特征信息；

按照所述清晰度標(biāo)簽在所述樣本數(shù)據(jù)序列中的排列順序，采用所述第二特征提取層依次提取所述至少兩個(gè)樣本多媒體數(shù)據(jù)對(duì)應(yīng)的環(huán)境信息；

采用所述環(huán)境信息生成所述至少兩個(gè)樣本多媒體數(shù)據(jù)的語義特征信息。

5.如權(quán)利要求1所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)序列，包括：

接收至少兩個(gè)終端針對(duì)所述至少兩個(gè)樣本多媒體數(shù)據(jù)所發(fā)送的候選清晰度；

對(duì)所述至少兩個(gè)樣本多媒體數(shù)據(jù)的候選清晰度進(jìn)行過濾，得到所述至少兩個(gè)樣本多媒體數(shù)據(jù)的有效清晰度；

將所述至少兩個(gè)樣本多媒體數(shù)據(jù)的有效清晰度確定為所述至少兩個(gè)樣本多媒體數(shù)據(jù)的清晰度標(biāo)簽。

6.如權(quán)利要求5所述的方法，其特征在于，所述對(duì)所述至少兩個(gè)樣本多媒體數(shù)據(jù)的候選清晰度進(jìn)行過濾，得到所述至少兩個(gè)樣本多媒體數(shù)據(jù)的有效清晰度，包括：

在目標(biāo)終端針對(duì)所述至少兩個(gè)樣本多媒體數(shù)據(jù)所發(fā)送的候選清晰度中，統(tǒng)計(jì)相同候選清晰度出現(xiàn)的次數(shù)；所述目標(biāo)終端屬于所述至少兩個(gè)終端；

若所述次數(shù)大于次數(shù)閾值，則從所述至少兩個(gè)樣本多媒體數(shù)據(jù)的候選清晰度中刪除所述目標(biāo)終端所發(fā)送的候選清晰度，得到所述至少兩個(gè)樣本多媒體數(shù)據(jù)的有效清晰度。