[發明專利]數據處理方法和裝置

有效

• 申請號: 201811149827.3
• 申請日: 2018-09-29
• 公開（公告）號: CN109389072B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 胡耀全
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京天達共和律師事務所 11798
• 代理人: 胡劍煒;劉德旺

1.一種數據處理方法，包括：

將目標視頻中相鄰的兩個視頻幀分別輸入卷積神經網絡進行關鍵點檢測，生成所述相鄰的兩個視頻幀的關鍵點；

利用光流算法，基于所述相鄰兩個視頻幀中的前一視頻幀及其關鍵點，預測所述相鄰的兩個視頻幀中的后一視頻幀的關鍵點；

基于預設的損失函數，確定所預測的關鍵點和對所述后一視頻幀檢測到的關鍵點之間的損失值；

基于所述損失值訓練所述卷積神經網絡，得到訓練后的卷積神經網絡；

所述將目標視頻中相鄰的兩個視頻幀分別輸入卷積神經網絡進行關鍵點檢測，生成所述相鄰的兩個視頻幀的關鍵點，包括：

對所述相鄰的兩個視頻幀中每個視頻幀的特征圖像進行積分回歸，得到所述相鄰的兩個視頻幀的關鍵點；

所述基于所述損失值訓練所述卷積神經網絡，包括：

利用所述光流算法，基于所述后一視頻幀和對所述后一視頻幀檢測到的關鍵點，確定所述前一視頻幀的關鍵點；

確定所確定的前一視頻幀的關鍵點和對所述前一視頻幀檢測到的關鍵點的距離，響應于確定所述距離小于距離閾值，利用所述損失值進行反向傳播，以調整所述卷積神經網絡的參數；和/或，響應于確定所述距離大于距離閾值，則不使用所述損失值訓練所述卷積神經網絡。

2.根據權利要求1所述的方法，其中，所述光流算法包括空間變換網絡。

3.根據權利要求1所述的方法，其中，所述將目標視頻中相鄰的兩個視頻分別輸入卷積神經網絡進行關鍵點檢測，生成所述相鄰的兩個視頻幀的關鍵點，還包括：

將相鄰的兩個視頻幀分別輸入卷積神經網絡，基于所述卷積神經網絡的卷積層，得到所述相鄰的兩個視頻幀中每個視頻幀的特征圖像。

4.根據權利要求1所述的方法，其中，在所述基于所述損失值訓練所述卷積神經網絡，得到訓練后的卷積神經網絡之后，所述方法還包括：

獲取目標圖像，將所述目標圖像輸入所述訓練后的卷積神經網絡，以對所述目標圖像進行關鍵點檢測，生成所述目標圖像的關鍵點。

5.一種數據處理裝置，包括：

輸入單元，被配置成將目標視頻中相鄰的兩個視頻幀分別輸入卷積神經網絡進行關鍵點檢測，生成所述相鄰的兩個視頻幀的關鍵點；

預測單元，被配置成利用光流算法，基于所述相鄰兩個視頻幀中的前一視頻幀及其關鍵點，預測所述相鄰的兩個視頻幀中的后一視頻幀的關鍵點；

確定單元，被配置成基于預設的損失函數，確定所預測的關鍵點和對所述后一視頻幀檢測到的關鍵點之間的損失值；

訓練單元，被配置成基于所述損失值訓練所述卷積神經網絡，得到訓練后的卷積神經網絡；

所述輸入單元，進一步被配置成對所述相鄰的兩個視頻幀中每個視頻幀的特征圖像進行積分回歸，得到所述相鄰的兩個視頻幀的關鍵點；

所述訓練單元，進一步被配置成：

利用所述光流算法，基于所述后一視頻幀和對所述后一視頻幀檢測到的關鍵點，確定所述前一視頻幀的關鍵點；

確定所確定的前一視頻幀的關鍵點和對所述前一視頻幀檢測到的關鍵點的距離，響應于確定所述距離小于距離閾值，利用所述損失值進行反向傳播，以調整所述卷積神經網絡的參數；和/或，響應于確定所述距離大于距離閾值，則不使用所述損失值訓練所述卷積神經網絡。

6.根據權利要求5所述的裝置，其中，所述光流算法包括空間變換網絡。

7.根據權利要求5所述的裝置，其中，所述輸入單元，進一步被配置成：

將相鄰的兩個視頻幀分別輸入卷積神經網絡，基于所述卷積神經網絡的卷積層，得到所述相鄰的兩個視頻幀中每個視頻幀的特征圖像。

8.根據權利要求5所述的裝置，其中，所述裝置還包括：

獲取單元，被配置成獲取目標圖像，將所述目標圖像輸入所述訓練后的卷積神經網絡，以對所述目標圖像進行關鍵點檢測，生成所述目標圖像的關鍵點。