[發明專利]訓練和/或使用神經網絡模型來生成光譜圖像的中間輸出

有效

• 申請號: 201780073913.8
• 申請日: 2017-09-28
• 公開（公告）號: CN110023964B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 亞歷山大·戈爾班
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

1.一種由一個或多個處理器實現的方法，包括：

識別第一組訓練示例，其中，所述第一組訓練示例中的每個訓練示例包括：

基于對應的常規圖像的常規圖像訓練示例輸入；以及

基于對應于所述常規圖像的對應光譜圖像的光譜圖像訓練示例輸出，其中，所述光譜圖像訓練示例輸出包括未包括在所述常規圖像中的一個或多個非可見通道；

基于所述第一組訓練示例訓練第一神經網絡部分，

所述第一神經網絡部分具有第一部分輸入層和第一部分輸出層，所述第一部分輸入層具有符合所述常規圖像訓練示例輸入的第一形狀，所述第一部分輸出層具有符合所述光譜訓練示例輸出的第二形狀；

識別第二組訓練示例，其中，所述第二組訓練示例中的每個訓練示例包括：

基于對應的光譜圖像的光譜圖像訓練示例輸入；以及

訓練示例輸出，所述訓練示例輸出指示能夠從所述對應光譜圖像導出的一個或多個特征的一個或多個值；

基于所述第二組訓練示例訓練第二神經網絡部分，

所述第二神經網絡部分具有第二部分輸入層和第二部分輸出層，所述第二部分輸入層具有符合所述第一部分輸出層的所述第二形狀，所述第二部分輸出層具有符合所述訓練示例輸出的第三形狀；以及

將所述第一神經網絡部分的所述第一部分輸出層與所述第二神經網絡部分的所述第二部分輸入層聯結，以創建組合神經網絡模型。

2.根據權利要求1所述的方法，還包括：

將常規圖像作為輸入應用于所述組合神經網絡模型的所述第一部分輸入層；以及

基于應用所述輸入生成輸出，所述生成是在所述組合神經網絡模型的所述第一神經網絡部分和所述第二神經網絡部分兩者上進行的。

3.根據權利要求2所述的方法，還包括：

向在一個或多個計算機可讀介質中的所述常規圖像分配基于所生成的輸出的內容。

4.根據權利要求2所述的方法，還包括：

在所述聯結之后并且在所述應用之前：

識別附加訓練示例，其中，所述附加訓練示例包括：

基于給定常規圖像的給定訓練示例輸入；以及

給定訓練示例輸出，所述給定訓練示例輸出指示所述一個或多個特征的一個或多個給定值；

基于以下操作進一步訓練所述組合神經網絡模型的至少所述第二神經網絡部分：

將所述給定訓練示例輸入應用于所述第一部分輸入層；

基于應用所述輸入生成預測輸出，所述生成是在所述組合神經網絡模型的所述第一神經網絡部分和所述第二神經網絡部分兩者上進行的；并且

基于根據所述預測輸出和所述給定訓練示例輸出而確定的梯度來更新所述第二神經網絡部分的一個或多個值。

5.根據權利要求1所述的方法，還包括：

在所述聯結之后并且在基于所述第二組訓練示例訓練所述第二神經網絡部分之后：

識別附加訓練示例，其中，所述附加訓練示例包括：

基于給定常規圖像的給定訓練示例輸入；以及

給定訓練示例輸出，所述給定訓練示例輸出指示所述特征的一個或多個給定值；

基于以下操作進一步訓練所述組合神經網絡模型的至少所述第二神經網絡部分：

將所述給定訓練示例輸入應用于所述第一部分輸入層；

基于應用所述輸入生成預測輸出，所述生成是在所述組合神經網絡模型的所述第一神經網絡部分和所述第二神經網絡部分兩者上進行的；以及

基于根據所述預測輸出和所述給定訓練示例輸出而確定的梯度來更新所述第二神經網絡部分的一個或多個值。

6.根據前述權利要求中任一項所述的方法，其中，在基于所述第一組訓練示例訓練所述第一神經網絡部分之后并且在基于所述第二組訓練示例訓練所述第二神經網絡部分之后，所述聯結發生。

7.根據權利要求1-5中任一項所述的方法，其中，在基于所述第一組訓練示例訓練所述第一神經網絡部分之前并且在基于所述第二組訓練示例訓練所述第二神經網絡部分之前，所述聯結發生。