[發明專利]使用生成式對抗模型修改傳感器數據

在審

• 申請號: 201980096029.5
• 申請日: 2019-06-10
• 公開（公告）號: CN114127777A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: V.卡布恩;D.M.凱瑟斯;T.德澤萊斯
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

包括編碼在計算機存儲介質上的計算機程序的方法、系統和裝置，其使用生成式對抗模型以將由第一環境傳感器生成的傳感器數據的質量提高到類似于由具有比第一環境傳感器更高質量的另一傳感器生成的傳感器數據的質量。接收分別由具有第一質量的第一環境傳感器和具有目標質量的第二傳感器生成的第一訓練數據集合和第二訓練數據的集合。使用第一訓練數據集合和第二訓練數據集合訓練生成式對抗模型，以通過減小由第一環境傳感器生成的傳感器數據與由目標環境傳感器生成的傳感器數據之間的質量的差異來修改來自第一環境傳感器的傳感器數據。

背景技術

本說明書涉及使用生成式對抗模型以將由第一環境傳感器生成的傳感器數據的質量提高到類似于由具有比第一環境傳感器更高質量的另一傳感器生成的傳感器數據的質量。

環境傳感器(例如，音頻傳感器、視頻傳感器和圖像傳感器)有不同的分辨率。作為結果，一些環境傳感器具有比其他傳感器更高的分辨率。例如，現代無反相機中的圖像傳感器通常具有比袖珍傻瓜相機中的圖像傳感器更高的分辨率。與具有較低分辨率環境傳感器的設備相比，具有較高分辨率環境傳感器的設備通常生成較高分辨率的媒體。

發明內容

總的來說，本說明書中描述的主題的一個創新方面可以體現在能夠包括以下操作的方法中：接收由具有第一質量的第一環境傳感器生成的第一訓練數據集合，第一訓練數據集合具有第一質量；接收由具有目標質量的目標環境傳感器生成的第二訓練數據集合，第二訓練數據集合具有目標質量，并且第一質量與目標質量不同；使用第一訓練數據集合和第二訓練數據集合來訓練生成式對抗模型，以通過減小由第一環境傳感器生成的傳感器數據與由目標環境傳感器生成的傳感器數據之間的質量差異來修改來自第一環境傳感器的傳感器數據，其中訓練包括：從生成式對抗模型的生成器模型中并且使用第一訓練數據集合中的一個或多個數據項，獲得具有不同于第一質量的質量的經修改的傳感器數據集合；將包括第二訓練傳感器數據集合和經修改的第一傳感器數據集合中的一個或多個數據項的數據項集合輸入到生成式對抗模型的鑒別器模型中；由鑒別器模型并且使用數據項集合來確定數據項集合中的每個數據項是否具有目標質量；當鑒別器模型確定由生成器模型生成的數據項集合中的數據項具有目標質量時，調整鑒別器模型和生成器模型；以及當鑒別器模型確定數據項集合中的由生成器模型生成的數據項不具有目標質量時，調整鑒別器模型和生成器模型。該方面的其他實施例包括被配置為執行方法的動作的相應系統、設備、裝置和計算機程序。計算機程序(例如，指令)可以被編碼在計算機存儲設備上。這些和其他實施例可以各自可選地包括一個或多個以下特征。

在一些實施方式中，第一環境傳感器和第二環境傳感器中的每個可以獲取聲音、圖像或視頻中的一個。

在一些實施方式中，方法可以包括以下操作：接收由具有第一質量的第一環境傳感器生成的第一傳感器數據；將第一傳感器數據輸入到生成式對抗模型中；以及使用生成式對抗模型的生成器模型，基于輸入的第一傳感器數據獲得經修改的傳感器數據。

在一些實施方式中，方法可以包括：接收由具有第一質量的第一環境傳感器生成的第一傳感器數據；將關于第一環境傳感器的信息輸入到存儲不同環境傳感器的已知缺陷的已知缺陷數據結構中；從已知缺陷數據結構中獲得第一環境傳感器的已知缺陷；基于第一環境傳感器的已知缺陷來調整第一傳感器數據；將調整后的第一傳感器數據輸入到生成式對抗模型中；以及使用生成式對抗模型的生成器模型，基于調整后的第一傳感器數據獲得經修改的傳感器數據。