[發明專利]處理圖像以定位新穎對象

有效

• 申請號: 201980074876.1
• 申請日: 2019-08-19
• 公開（公告）號: CN113015978B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: S.M.里科;B.A.賽博爾德
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V20/40;G06K9/62;G06T7/70
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種由一個或多個數據處理裝置執行的方法，所述方法包括：

對包括多個視頻幀的視頻的每個視頻幀，獲得定義視頻幀中描繪的對象的位置的訓練對象定位數據，包括：

使用已知對象定位系統處理視頻幀，所述已知對象定位系統被配置為處理視頻幀，以生成定義視頻幀中描繪的對象的位置的訓練對象定位數據；

對視頻進行處理，以對多個視頻幀中的每個視頻幀生成對應的光流圖像，所述光流圖像表征視頻中的視頻幀和后續視頻幀之間的視頻幀的每個像素的位移；以及

使用：(i)光流圖像，以及(ii)定義與光流圖像相對應的多個視頻幀中描繪的對象的位置的訓練對象定位數據，訓練光流對象定位系統來處理光流圖像，以生成定義在與光流圖像相對應的視頻幀中描繪的對象的位置的對象定位數據，包括對每個光流圖像：

訓練光流對象定位系統來處理光流圖像，以生成對象定位數據，所述對象定位數據與訓練對象定位數據相匹配，所述訓練對象定位數據通過使用已知對象定位系統處理與光流圖像相對應的視頻幀生成。

2.根據權利要求1所述的方法，其中，所述已知對象定位系統包括神經網絡。

3.根據權利要求1所述的方法，其中，獲得定義視頻幀中描繪的對象的位置的訓練對象定位數據還包括：

獲得定義由人手動標注的視頻幀中描繪的對象的位置的對象定位數據。

4.根據權利要求1所述的方法，其中，定義視頻幀中描繪的對象的位置的訓練對象定位數據包括：

定義環繞視頻幀中描繪的對象的位置的邊界框的數據。

5.根據權利要求1所述的方法，其中，處理視頻以對多個視頻幀的每個視頻幀生成對應的光流圖像包括：

使用直接數值優化方法處理視頻以對多個視頻幀的每個視頻幀生成對應的光流圖像。

6.根據權利要求1所述的方法，還包括對每個光流圖像：

對由與光流圖像相對應的視頻幀的訓練對象定位數據定義的每個對象位置，確定對象位置處的光流圖像中的光流數據的相應方差；以及

通過移除定義對象位置的數據來修改用于訓練光流對象定位系統的訓練對象定位數據，其中，數據被移除的對象位置處的光流圖像中的光流數據的方差不滿足閾值。

7.根據權利要求1所述的方法，其中，光流對象定位系統包括神經網絡。

8.一種由一個或多個數據處理裝置執行的方法，所述方法包括：

處理包括多個視頻幀的視頻，以對多個視頻幀中的每個視頻幀生成對應的光流圖像，所述光流圖像表征視頻中的視頻幀和后續視頻幀之間視頻幀的每個像素的位移；

對每個光流圖像，使用光流對象定位系統對光流圖像進行處理，以生成定義與光流圖像相對應的視頻幀中描繪的對象的位置的對象定位數據；以及

使用：(i)多個視頻幀，以及(ii)光流對象定位系統通過處理與多個視頻幀相對應的光流圖像而生成的對象定位數據，訓練新穎對象定位系統來處理視頻幀，以生成定義視頻幀中描述的對象的位置的對象定位數據，包括對多個視頻幀中的一個或多個：

使用已知對象定位系統處理視頻幀，以生成定義視頻幀中描繪的對象的位置的對象定位數據，其中，訓練已知對象定位系統以定位來自預定的已知對象類集合的對象，已知對象定位系統遺漏的對象被稱為新穎對象，并且定位新穎對象的系統被稱為新穎對象定位系統；

識別視頻幀中描繪的新穎對象的位置，其中，新穎對象的位置：(i)被包括在由光流對象定位系統對視頻幀生成的對象定位數據中，并且(ii)不被包括在由已知對象定位系統對視頻幀生成的對象定位數據中；以及

訓練新穎對象定位系統來處理視頻幀，以生成包括定義視頻幀中描繪的新穎對象的位置的數據對象定位數據。

9.根據權利要求8所述的方法，其中，處理視頻以對多個視頻幀的每個視頻幀生成對應的光流圖像包括：

使用直接數值優化方法處理視頻以對多個視頻幀的每個視頻幀生成對應的光流圖像。