[發明專利]一種圖像處理方法及裝置

在審

• 申請號: 202111112440.2
• 申請日: 2019-04-28
• 公開（公告）號: CN113808062A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 吳華棟;張展鵬;成慧;楊凱
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

本申請實施例公開了一種圖像處理方法及裝置，所述方法包括：獲取訓練樣本集，所述訓練樣本集包括至少一個彩色樣本圖像，以及至少一個與所述彩色樣本圖像對應的深度樣本圖像；將所述訓練樣本集輸入圖像處理模型進行處理，所述圖像處理模型包括彩色圖像處理模型以及深度圖像處理模型，所述彩色圖像處理模型用于對所述彩色樣本圖像進行處理得到彩色重構圖像，所述深度圖像處理模型用于對所述深度圖像進行處理得到深度重構圖像；基于所述彩色樣本圖像、所述彩色重構圖像、所述深度樣本圖像與所述深度重構圖像確定所述圖像處理模型的第一損失參數，并基于所述第一損失參數調整所述深度圖像處理模型，得到訓練后的深度圖像處理模型。

本申請是申請日為2019年04月28日的中國專利申請號201910351289.4、發明名稱為“一種圖像處理方法及裝置”的分案申請。

技術領域

本申請涉及機器人技術，尤其涉及一種圖像處理方法及裝置。

背景技術

機器人學習的研究主要分為監督學習和強化學習兩個方向，其中監督學習又有模仿學習和自監督學習等細分方向。模仿學習方法通過收集專家的示教信息來訓練網絡模型，缺點是需要大量專家示教信息，且通常假設環境是已知和有限的，對于現實中開放而復雜的場景效果不好；自監督學習則是通過機器人試錯實驗來采集標注數據，缺點試錯實驗成功率低，采集數據非常低效，而且在真實環境中試錯會存在安全風險。強化學習方法通過機器人大量的探索來學會完成指定的任務，缺點是需要的探索次數非常多，在現實中幾乎不可能完成。

現有機器人學習過程中是直接使用彩色圖像作為網絡模型輸入，通過生成對抗網絡(Generative Adversarial Networks，GAN)模型來學習到一個能對輸入的RGB圖像進行良好編碼的編碼器，再將編碼器的輸出輸入到長短期記憶網絡(Long Short-Term Memory，LSTM)模型中，讓網絡學會完成一個序列的動作。該方法的缺點是所需數據量仍然很大，共計采集了約2500次專家示教范例。該方法采集數據非常耗時，可能會出現機器人物理損耗，而且專家示教的場景和動作是有限的，機器人無法對不熟悉的場景作出合適預測。因此，如何高效快速地采集數據，以及如何通過少量數據訓練一個效果良好的網絡模型，是機器人技術亟待解決的技術問題。

發明內容

為解決上述技術問題，本申請實施例期望提供一種圖像處理方法及裝置。

本申請的技術方案是這樣實現的：

第一方面，提供了一種圖像處理方法，該方法包括：獲取訓練樣本集，所述訓練樣本集包括至少一個彩色樣本圖像，以及至少一個與所述彩色樣本圖像對應的深度樣本圖像；

將所述訓練樣本集輸入圖像處理模型進行處理，所述圖像處理模型包括彩色圖像處理模型以及深度圖像處理模型，所述彩色圖像處理模型用于對所述彩色樣本圖像進行處理得到彩色重構圖像，所述深度圖像處理模型用于對所述深度圖像進行處理得到深度重構圖像；

基于所述彩色樣本圖像、所述彩色重構圖像、所述深度樣本圖像與所述深度重構圖像確定所述圖像處理模型的第一損失參數，并基于所述第一損失參數調整所述彩色圖像處理模型，得到訓練后的彩色圖像處理模型。

這樣，利用彩色圖像和深度圖像同時作為訓練樣本具有信息互補的作用，能夠以較少的訓練樣本訓練出效果良好的彩色圖像處理模型，采用分步訓練的方式能夠降低訓練難度，提高訓練效率。

上述方案中，所述方法還包括：基于所述第一損失參數調整所述深度圖像處理模型，得到訓練后的深度圖像處理模型。

這樣，在圖像處理模型訓練過程中，可以同時訓練彩色圖像處理模型和深度圖像處理模型，利用訓練后的深度圖像處理模型監督訓練彩色圖像處理模型，能夠同時提高二者的訓練效果。