[發明專利]視頻流字幕檢測方法、系統、設備及存儲介質

有效

• 申請號: 202011033454.0
• 申請日: 2020-09-27
• 公開（公告）號: CN112135108B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 龔迅;肖瀟;付馬;孟祥昊
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N21/435;H04N5/278;H04N21/488;G06V20/40;G06V20/62;G06V10/80
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 夏彬

1.一種視頻流字幕檢測方法，其特征在于，包括如下步驟：

獲取檢測視頻流圖像，輸入第一特征提取模塊，得到所述第一特征提取模塊輸出的第一特征圖和第二特征圖，所述第一特征圖的分辨率小于所述第二特征圖的分辨率；

將所述檢測視頻流圖像的第一特征圖和第二特征圖輸入第二特征提取模塊的內容提取器和紋理提取器，獲取所述第二特征提取模塊輸出的第三特征圖；

將所述檢測視頻流圖像的第三特征圖輸入概率圖生成模塊，生成概率圖；

根據所述檢測視頻流圖像的概率圖確定所述檢測視頻流圖像中的字幕區域位置；

所述第二特征提取模塊還包括與所述內容提取器串聯的亞像素卷積層；

將所述第一特征圖和第二特征圖輸入第二特征提取模塊的內容提取器和紋理提取器，包括如下步驟：

將所述第一特征圖依次輸入所述內容提取器和所述亞像素卷積層；

將所述第二特征圖和所述亞像素卷積層的輸出進行融合后輸入所述紋理提取器；

將所述紋理提取器的輸出和所述亞像素卷積層的輸出融合后得到所述第三特征圖。

2.根據權利要求1所述的視頻流字幕檢測方法，其特征在于，所述第一特征提取模塊包括特征金字塔形式的卷積神經網絡。

3.根據權利要求2所述的視頻流字幕檢測方法，其特征在于，所述特征金字塔包括依次串聯的第一卷積層、第二卷積層、第三卷積層和第四卷積層，將所述第四卷積層的特征圖上采樣后與所述第三卷積層的特征圖融合，得到所述第一特征圖，將所述第一特征圖上采樣后與所述第二卷積層的特征圖融合，得到所述第二特征圖；

所述第四卷積層的特征圖上采樣和所述第一特征圖上采樣均采用雙線性插值的方式。

4.根據權利要求1所述的視頻流字幕檢測方法，其特征在于，所述內容提取器和所述紋理提取器分別包括至少一個卷積層。

5.根據權利要求1所述的視頻流字幕檢測方法，其特征在于，將所述檢測視頻流圖像的第三特征圖輸入概率圖生成模塊，生成概率圖，包括如下步驟：

將所述檢測視頻流圖像的多個通道的第三特征圖分別輸入概率圖生成模塊，每個特征圖對應生成一概率圖；

根據所述檢測視頻流圖像的概率圖確定所述檢測視頻流圖像中的字幕區域位置，包括如下步驟：

根據所述檢測視頻流圖像的各個類別的概率圖，確定所述檢測視頻流圖像中各個類別的字幕對應的區域位置。

6.根據權利要求1所述的視頻流字幕檢測方法，其特征在于，還包括如下步驟：

獲取樣本視頻流圖像，輸入第一特征提取模塊，得到所述第一特征提取模塊輸出的第一特征圖和第二特征圖，所述第一特征圖的分辨率小于所述第二特征圖的分辨率；

將所述樣本視頻流圖像的第一特征圖和第二特征圖輸入第二特征提取模塊的內容提取器和紋理提取器，獲取所述第二特征提取模塊輸出的第三特征圖；

將所述樣本視頻流圖像的第三特征圖輸入概率圖生成模塊和閾值圖生成模塊，生成概率圖和閾值圖；

根據所述樣本視頻流圖像的概率圖和閾值圖，構造損失函數；

基于所述損失函數反向傳播，訓練所述第一特征提取模塊、第二特征提取模塊、概率圖生成模塊和閾值圖生成模塊。

7.根據權利要求6所述的視頻流字幕檢測方法，其特征在于，所述樣本視頻流圖像中具有多個類別的字幕標簽；

將所述樣本視頻流圖像的第三特征圖輸入概率圖生成模塊和閾值圖生成模塊，生成概率圖和閾值圖，包括如下步驟：

將所述樣本視頻流圖像的第三特征圖輸入概率圖生成模塊，根據各個類別的字幕標簽，生成各個類別的概率圖；

將所述樣本視頻流圖像的第三特征圖輸入閾值圖生成模塊，生成各個類別的閾值圖。