[發明專利]一種多線程的內容關鍵幀識別效率提高方法

在審

• 申請號: 202011606167.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112861609A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 張昆;王惠峰;白立飛;張峰
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供一種多線程的內容關鍵幀識別效率提高方法，包括：獲取非實時視頻流，并分成多段非實時視頻；分別計算每段非實時視頻中各幀的第一內容哈希向量，以及相鄰兩幀的第一哈希向量間的第一馬氏距離，根據第一馬氏距離和預設閾值，從相鄰兩幀中選出第一內容關鍵幀；分別計算每段非實時視頻的各邊界關鍵幀的第二內容哈希向量，以及分別計算相鄰兩個邊界關鍵幀的第二內容哈希向量間的第二馬氏距離，根據第二馬氏距離和閾值，從相鄰兩個邊界關鍵幀中選出第二內容關鍵幀；將各第一內容關鍵幀和各第二內容關鍵幀輸出。本公開利用內容關鍵幀的生成算法的時間局部性特點，采用多線程的方式分段加速，有效提升非實時視頻流中內容關鍵幀的識別效率。

技術領域

本公開屬于圖像處理技術領域，具體涉及一種多線程的內容關鍵幀識別效率提高方法。

背景技術

內容關鍵幀是視頻流中一個鏡頭的代表幀，被用于視頻內容理解與分析領域，廣泛應用在室內監控、直播審核等場景應用中。

在視頻內容理解與分析領域，內容關鍵幀識別算法經常作為前置處理模塊，為各類目標檢測、場景檢測等分析模塊提供基礎。這種設計相較于逐幀計算，可以1)大幅縮減分析模塊的計算量，縮短視頻內容理解與分析的時間；2)保持較高的目標、場景召回率，防止遺漏分析。

內容關鍵幀計算算法具有很強的時序局部性特點，對于非實時視頻流，利用這個特點可以進行多線程加速。

發明內容

本公開旨在至少解決現有技術中存在的技術問題之一，提供一種多線程的內容關鍵幀識別效率提高方法。

本公開的一個方面，提供一種多線程的內容關鍵幀識別效率提高方法，所述方法包括：

獲取非實時視頻流，并將所述非實時視頻流拆分成多段非實時視頻；

分別計算每段所述非實時視頻中各幀的第一內容哈希向量，以及分別計算每段所述非實時視頻中相鄰兩幀的第一哈希向量間的第一馬氏距離，根據所述第一馬氏距離和預設閾值，從所述相鄰兩幀中選出第一內容關鍵幀；

分別計算每段所述非實時視頻的各邊界關鍵幀的第二內容哈希向量，以及分別計算相鄰兩個邊界關鍵幀的第二內容哈希向量間的第二馬氏距離，根據所述第二馬氏距離和所述閾值，從所述相鄰兩個邊界關鍵幀中選出第二內容關鍵幀；

將各所述第一內容關鍵幀和各所述第二內容關鍵幀輸出。

在一些可選地實施方式中，所述分別計算每段所述非實時視頻中各幀的第一內容哈希向量，包括：

將非實時視頻幀轉換成第一單通道灰度幀，并計算該幀像素點灰度值的第一均值；

將各所述第一單通道灰度幀按照行、列等間隔劃分為多個第一宏塊；

分別計算每個所述第一宏塊的宏塊像素點灰度值的第二均值；

根據所述第一均值和所述第二均值的大小，得到所述第一內容哈希向量。

在一些可選地實施方式中，所述根據所述第一均值和所述第二均值的大小，得到所述第一內容哈希向量，包括：

若所述第二均值大于所述第一均值，則記為1，否則記為0，得到所述第一內容哈希向量。

在一些可選地實施方式中，所述根據所述第一馬氏距離和預設閾值，從所述相鄰兩幀中選出第一內容關鍵幀，包括：

判斷所述第一馬氏距離是否超過所述閾值，若是，則將所述相鄰兩幀中的后一幀作為所述第一內容關鍵幀。

在一些可選地實施方式中，所述分別計算每段所述非實時視頻的各邊界關鍵幀的第二內容哈希向量，包括：

將每段非實時視頻幀轉換成第二單通道灰度幀，并計算該幀像素點灰度值的第三均值；