[發(fā)明專利]基于瀏覽器的封面生成方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010413548.4
• 申請(qǐng)日: 2020-05-15
• 公開(kāi)（公告）號(hào): CN112437343B
• 公開(kāi)（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 付強(qiáng);高龍文;劉若衡;李鵬程
• 申請(qǐng)（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/4782;H04N21/81
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 王勇;鄧小玲

1.一種基于瀏覽器的封面生成方法，其特征在于，所述方法包括：

監(jiān)測(cè)瀏覽器是否進(jìn)入目標(biāo)頁(yè)面；

響應(yīng)于所述瀏覽器進(jìn)入所述目標(biāo)頁(yè)面，初始化主線程并創(chuàng)建幀提取線程和畫(huà)面評(píng)估線程，所述幀提取線程用于加載webassembly視頻解析器，所述畫(huà)面評(píng)估線程用于加載訓(xùn)練好的畫(huà)面評(píng)估模型；

監(jiān)測(cè)基于所述目標(biāo)頁(yè)面的目標(biāo)操作，所述目標(biāo)操作關(guān)聯(lián)本地視頻文件；及

響應(yīng)于所述目標(biāo)操作，執(zhí)行以下操作：

通過(guò)運(yùn)行在所述幀提取線程中的所述webassembly視頻解析器從所述本地視頻文件中提取多個(gè)目標(biāo)幀；

基于所述多個(gè)目標(biāo)幀，通過(guò)運(yùn)行在所述畫(huà)面評(píng)估線程中的所述畫(huà)面評(píng)估模型得到各個(gè)目標(biāo)幀的畫(huà)面評(píng)估參數(shù)；及

通過(guò)主線程獲取所述畫(huà)面評(píng)估線程提供的所述各個(gè)目標(biāo)幀的畫(huà)面評(píng)估參數(shù)，根據(jù)所述各個(gè)目標(biāo)幀的畫(huà)面評(píng)估參數(shù)從所述多個(gè)目標(biāo)幀選取出一個(gè)或多個(gè)候選幀，并根據(jù)所述一個(gè)或多個(gè)候選幀生成視頻封面；

其中，所述通過(guò)運(yùn)行在所述畫(huà)面評(píng)估線程中的所述畫(huà)面評(píng)估模型得到各個(gè)目標(biāo)幀的畫(huà)面評(píng)估參數(shù)，包括：

通過(guò)所述畫(huà)面評(píng)估模型中的特征提取層，提取目標(biāo)幀M的圖像特征，1≤M≤N，N為所述多個(gè)目標(biāo)幀的數(shù)量；

根據(jù)所述目標(biāo)幀M的圖像特征和所述畫(huà)面評(píng)估模型中的第一全連接層，得到所述目標(biāo)幀M對(duì)應(yīng)于各個(gè)場(chǎng)景類別的置信度；

根據(jù)所述目標(biāo)幀M的圖像特征和所述畫(huà)面評(píng)估模型中的第二全連接層，得到所述目標(biāo)幀M的圖像質(zhì)量評(píng)估值；及

根據(jù)所述目標(biāo)幀M對(duì)應(yīng)于各個(gè)場(chǎng)景類別的置信度和所述目標(biāo)幀M的圖像質(zhì)量評(píng)估值，得到對(duì)應(yīng)于所述目標(biāo)幀M的畫(huà)面評(píng)估參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于瀏覽器的封面生成方法，其特征在于，通過(guò)運(yùn)行在所述幀提取線程中的所述webassembly視頻解析器從所述本地視頻文件中提取多個(gè)目標(biāo)幀，包括：

通過(guò)所述webassembly視頻解析器確定所述本地視頻文件是否為豎屏方向；

通過(guò)所述webassembly視頻解析器從所述本地視頻文件中提取出多個(gè)幀；

如果所述本地視頻文件是所述豎屏方向，則將所述多個(gè)幀中的各個(gè)幀進(jìn)行圖像翻轉(zhuǎn)以得到豎屏方向的各個(gè)幀；及

將所述豎屏方向的各個(gè)幀確定為相應(yīng)的目標(biāo)幀。

3.根據(jù)權(quán)利要求1所述的基于瀏覽器的封面生成方法，其特征在于，通過(guò)所述webassembly視頻解析器從所述本地視頻文件中提取出多個(gè)幀，包括：

獲取N個(gè)時(shí)間節(jié)點(diǎn)對(duì)應(yīng)的N個(gè)幀，包括：

獲取最鄰近時(shí)間節(jié)點(diǎn)M的關(guān)鍵幀，將這個(gè)關(guān)鍵幀確定為與所述時(shí)間節(jié)點(diǎn)M對(duì)應(yīng)的幀，1≤M≤N。

4.根據(jù)權(quán)利要求1所述的基于瀏覽器的封面生成方法，其特征在于，通過(guò)運(yùn)行在所述幀提取線程中的所述webassembly視頻解析器從所述本地視頻文件中提取多個(gè)目標(biāo)幀，包括：

對(duì)所述本地視頻文件執(zhí)行檢測(cè)操作，根據(jù)檢測(cè)結(jié)果確定是否從所述本地視頻文件提取所述多個(gè)目標(biāo)幀；

其中，所述檢測(cè)操作用于檢測(cè)：所述本地視頻文件是否為損壞文件，所述本地視頻文件中是否包括視頻流，和/或所述視頻流的視頻格式是否被所述webassembly視頻解析器支持。

5.根據(jù)權(quán)利要求1所述的基于瀏覽器的封面生成方法，其特征在于，根據(jù)所述目標(biāo)幀M對(duì)應(yīng)于各個(gè)場(chǎng)景類別的置信度和所述目標(biāo)幀M的圖像質(zhì)量評(píng)估值，得到對(duì)應(yīng)于所述目標(biāo)幀M的畫(huà)面評(píng)估參數(shù)，包括：

通過(guò)以下公式得到對(duì)應(yīng)于所述目標(biāo)幀M的畫(huà)面評(píng)估參數(shù)P：

P＝p2∑_iW_{i，arg max p1}p1_i

其中，p1_i表示所述目標(biāo)幀M對(duì)應(yīng)于第i個(gè)場(chǎng)景的置信度，p2表示所述目標(biāo)幀M的圖像質(zhì)量評(píng)估值，arg max p1表示置信度最大的目標(biāo)場(chǎng)景，及W_{i，arg max p1}表示所述目標(biāo)幀M對(duì)應(yīng)的目標(biāo)場(chǎng)景與第i個(gè)場(chǎng)景之間的關(guān)聯(lián)程度權(quán)重。