[發明專利]基于圖像質量的關鍵幀提取方法、裝置、電子設備及介質

在審

• 申請號: 202211079195.4
• 申請日: 2022-09-05
• 公開（公告）號: CN115423780A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 徐朋飛;袁濤;曾紀國;倪亞宇;周震
• 申請（專利權）人: 湖南國科微電子股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/75
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 賈耀斌

1.一種基于圖像質量的關鍵幀提取方法，其特征在于，所述方法包括：

通過預先構建的質量評估模型對m個圖像進行質量評估，以得到各所述圖像的圖像質量分值；

根據各所述圖像的圖像質量分值從多個所述圖像中確定圖像質量分值大于或等于預設質量分值的n個目標圖像；

根據n個所述目標圖像和預設清晰度閾值獲取候選圖像，對所述候選圖像進行特征點匹配，提取關鍵幀。

2.根據權利要求1所述的方法，其特征在于，所述根據n個所述目標圖像和預設清晰度閾值獲取候選圖像，包括：

將各所述目標圖像中清晰度小于預設清晰度閾值的圖像確定為第一圖像，將所述第一圖像輸入去模糊模型，通過所述去模糊模型對所述第一圖像進行去模糊處理，得到去模糊圖像；和/或，

將各所述目標圖像中清晰度大于或等于預設清晰度閾值的圖像確定為第二圖像；

將所述去模糊圖像和/或所述第二圖像確定為所述候選圖像。

3.根據權利要求1所述的方法，其特征在于，所述通過預先構建的質量評估模型對m個圖像進行質量評估，以得到各所述圖像的圖像質量分值，包括：

通過所述質量評估模型計算得到各所述圖像對應的特征向量；

根據第一特征向量和第二特征向量之間的歐式距離確定各所述圖像的圖像質量分值，所述第一特征向量為各所述圖像對應的特征向量，所述第二特征向量為排序在所述第一特征向量之后的特征向量。

4.根據權利要求3所述的方法，其特征在于，所述通過所述質量評估模型計算得到各所述圖像對應的特征向量，包括：

將各所述圖像切割為多個圖像塊，將各所述圖像的多個所述圖像塊組成一組待評估數據，將各組所述待評估數據輸入所述質量評估模型；

通過所述質量評估模型計算得到各組所述待評估數據對應的多個輸出向量，將各所述輸出向量進行拼接，得到所述特征向量。

5.根據權利要求3所述的方法，其特征在于，所述根據第一特征向量和第二特征向量之間的歐式距離確定各所述圖像的圖像質量分值，包括：

根據以下公式計算各所述圖像的圖像質量分數；

其中，X(i)表示第i個圖像，q(X(i))表示第i個圖像X(i)的質量分數，d(x_i，x_j)表示第i個圖像對應的特征向量x_i和第j個圖像對應的特征向量x_j之間的歐式距離，表示第i個圖像對應的特征向量x_i分別和第i+1至m個圖像對應的特征向量x_j之間的歐式距離的和值，m表示圖像數量，σ表示sigmoid函數，其中，1≤i≤m，i+1≤j≤m。

6.根據權利要求2所述的方法，其特征在于，所述質量評估模型和所述去模糊模型部署于網絡攝像機的處理器，所述通過預先構建的質量評估模型對m個圖像進行質量評估，包括：

調用所述網絡攝像機的處理器上的所述質量評估模型，并在所述網絡攝像機的加速器上運行所述質量評估模型，以對m個所述圖像進行質量評估；

所述通過所述去模糊模型對所述目標圖像進行去模糊處理，包括：

在所述網絡攝像機的加速器上運行所述去模糊模型，以輸出去模糊圖像。

7.根據權利要求1所述的方法，其特征在于，構建所述質量評估模型，包括：

將Resnet50模型去掉頭部全連接層，加入dropout層和兩個全連接層，得到初始訓練模型；

根據圖像訓練集對所述初始訓練模型進行訓練，得到所述質量評估模型。

8.一種基于圖像質量的關鍵幀提取裝置，其特征在于，所述裝置包括：

質量評估模塊，用于通過預先構建的質量評估模型對m個圖像進行質量評估，以得到各所述圖像的圖像質量分值；

確定模塊，用于根據各所述圖像的圖像質量分值從多個所述圖像中確定圖像質量分值大于或等于預設質量分值的n個目標圖像；

提取模塊，用于根據n個所述目標圖像和預設清晰度閾值獲取候選圖像，對所述候選圖像進行特征點匹配，提取關鍵幀。