[發明專利]一種視頻處理方法與裝置

在審

• 申請號: 202011022341.0
• 申請日: 2020-09-25
• 公開（公告）號: CN112132750A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 崔超;朱珊珊;郭常圳
• 申請（專利權）人: 北京猿力未來科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 劉曉楠

1.一種視頻處理方法，其特征在于，所述方法包括：

采集對待拼接圖形的拼接視頻，從所述拼接視頻中提取關鍵幀并對所述關鍵幀進行預處理；

將預處理后的所述關鍵幀輸入實例分割模型，由實例分割模型得到識別結果，其中，所述識別結果中包含識別出的圖像塊；

確定所述識別結果中至少一個目標對象對應的圖像塊的相對位置，由所述相對位置確定所述至少一個目標對象的拼接結果；

在所述至少一個目標對象的拼接結果與預定相對位置相同的情況下，保存所述拼接結果，給出拼接提示。

2.如權利要求1所述的方法，其特征在于，從所述拼接視頻中提取關鍵幀并對所述關鍵幀進行預處理，包括：

按照預設的時間間隔從所述拼接視頻中提取關鍵幀，并通過獲取所述關鍵幀中的每個像素的像素值的方式對所述關鍵幀進行預處理。

3.如權利要求2所述的方法，其特征在于，所述實例分割模型包括主干網絡、候選區域網絡、興趣區域聯盟網絡、類別層和分割層；

由實例分割模型得到識別結果，包括：

將預處理后的所述關鍵幀作為待處理圖片輸入主干網絡得到特征圖；

將所述特征圖輸入候選區域網絡進行過濾得到標示出感興趣區域的第一圖像；

將所述第一圖像輸入興趣區域聯盟網絡對所述感興趣區域進行處理，得到第二圖像；

將所述第二圖像輸入類別層進行處理，提取至少一個感興趣區域，通過所述類別層確定所述感興趣區域的類型和所述感興趣區域的數量，將所述感興趣區域的類型作為所述類別層的識別結果；

根據所述感興趣區域的數量確定所述分割層的數量，將所述感興趣區域分別輸入對應的分割層，通過所述分割層確定至少一個目標對象的邊界和遮擋物的外接框，得到第三圖像；

將所述第三圖像和所述類別層的識別結果作為所述實例分割模型的識別結果，其中，所述實例分割模型的識別結果包括所述待處理圖像中的圖像塊的圖形類別、每個目標對象的頂點坐標信息、目標對象的邊界、遮擋物和至少一個目標對象。

4.如權利要求3所述的方法，其特征在于，其中，所述主干網絡由卷積層、全連接層與輸出層構成；

將預處理后的所述關鍵幀作為待處理圖片輸入主干網絡得到特征圖，包括：

將所述待處理圖片輸入卷積層，通過對所述待處理圖片進行卷積得到第一殘差圖像；

將所述第一殘差圖像輸入全連接層進行映射得到第二殘差圖像；

將所述第二殘差圖像輸入輸出層進行指數歸一化處理得到特征圖。

5.如權利要求3所述的方法，其特征在于，將所述特征圖輸入候選區域網絡進行過濾得到標示出感興趣區域的第一圖像，包括：

通過卷積核對所述特征圖進行滑動掃描，為所述特征圖中的每一個目標對象與遮擋物生成第一矩形錨框并提取所述第一矩形錨框的坐標，通過所述第一矩形錨框標注出感興趣區域得到第一圖像。

6.如權利要求3所述的方法，其特征在于，將所述第一圖像輸入興趣區域聯盟網絡進行處理，得到第二圖像，包括：

基于所述第一圖像中的感興趣區域，確定感興趣區域參考矩形錨框；

通過所述興趣區域聯盟網絡使用雙線性插值方法，將所述第一圖像的感興趣區域均調整至所述參考矩形錨框大小得到第二圖像。

7.如權利要求3所述的方法，其特征在于，通過所述分割層確定至少一個目標對象的邊界，包括：

根據所述第二圖像中的每個像素的像素值確定屬于相同類別的像素點組成至少兩個連通域點集；

從所述至少兩個連通域點集中確定所述至少一個目標對象的圖像塊和遮擋物的圖像塊；

利用多邊形逼近方法確定所述至少一個目標對象的邊界。