[發明專利]計算機視覺訓練系統和用于訓練計算機視覺系統的方法

在審

• 申請號: 202011179933.3
• 申請日: 2020-10-29
• 公開（公告）號: CN112750133A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 任昊宇;穆斯塔法·艾爾可哈米;阿曼·拉杰;李正元
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/215;G06T7/269;G06T3/40;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王兆賡;張川緒

1.一種計算機視覺訓練系統，包括：

監督學習系統，被配置為：根據目標計算機視覺應用從一個或多個輸入圖像估計監督輸出，并且根據監督輸出和監督輸出的地面真值來確定監督損失；

無監督學習系統，被配置為：根據監督輸出和所述一個或多個輸入圖像來確定無監督損失；

弱監督學習系統，被配置為：根據監督輸出和與所述一個或多個輸入圖像對應的弱標簽來確定弱監督損失；以及

聯合優化器，被配置為：優化監督損失、無監督損失和弱監督損失。

2.根據權利要求1所述的系統，其中，目標計算機視覺應用對應于單目深度估計，并且監督輸出對應于從所述一個或多個輸入圖像之中的目標圖像估計的深度。

3.根據權利要求2所述的系統，其中，無監督學習系統被配置為：根據估計的深度將與所述一個或多個輸入圖像對應的2維圖像坐標轉換為3維坐標，并且至少基于3維坐標計算無監督損失。

4.根據權利要求1所述的系統，其中，目標計算機視覺應用對應于立體匹配，并且監督輸出對應于所述一個或多個輸入圖像之中的左圖像與右圖像之間估計的視差。

5.根據權利要求4所述的系統，其中，無監督學習系統被配置為：根據估計的視差來將左圖像和右圖像中的一個移位以生成變形圖像，并且至少基于變形圖像來計算無監督損失。

6.根據權利要求1所述的系統，其中，目標計算機視覺應用對應于圖像/視頻增強，并且監督輸出對應于從所述一個或多個輸入圖像之中的低分辨率輸入圖像估計的高分辨率圖像。

7.根據權利要求6所述的系統，其中，無監督學習系統被配置為：估計與估計的高分辨率圖像對應的光流，并且至少基于估計的光流和估計的高分辨率圖像來計算無監督損失。

8.根據權利要求1所述的系統，其中，目標計算機視覺應用對應于多視圖深度估計，并且監督輸出對應于在所述一個或多個輸入圖像之中的多個輸入幀中的每個輸入幀中估計的深度。

9.根據權利要求1至8中的任意一項所述的系統，其中，聯合優化器被配置為：根據聯合損失函數并發地優化監督損失、無監督損失和弱監督損失，聯合損失函數包括監督損失、無監督損失和弱監督損失的相應的權重。

10.根據權利要求1至8中的任意一項所述的系統，還包括：弱標簽生成器，弱標簽生成器用于將弱標簽生成為基于圖像塊的弱標簽，基于圖像塊的弱標簽具有與所述一個或多個輸入圖像的不同的裁剪區域對應的圖像塊對，基于圖像塊的弱標簽定義與圖像塊對的裁剪區域之間的監督輸出對應的關系。

11.一種用于訓練計算機視覺系統的方法，所述方法包括：

根據目標計算機視覺應用從一個或多個輸入圖像估計監督輸出；

根據監督輸出和監督輸出的地面真值來確定監督損失；

根據監督輸出和所述一個或多個輸入圖像來確定無監督損失；

根據監督輸出和與所述一個或多個輸入圖像對應的弱標簽來確定弱監督損失；以及

優化監督損失、無監督損失和弱監督損失。

12.根據權利要求11所述的方法，其中，目標計算機視覺應用對應于單目深度估計，并且監督輸出對應于從所述一個或多個輸入圖像之中的目標圖像估計的深度。

13.根據權利要求12所述的方法，還包括：

根據估計的深度將與所述一個或多個輸入圖像對應的2維圖像坐標轉換為3維坐標；以及

至少基于3維坐標計算無監督損失。

14.根據權利要求11所述的方法，其中，目標計算機視覺應用對應于立體匹配，并且監督輸出對應于所述一個或多個輸入圖像之中的左圖像與右圖像之間估計的視差。