[發明專利]訓練和/或使用神經網絡模型來生成光譜圖像的中間輸出

有效

• 申請號: 201780073913.8
• 申請日: 2017-09-28
• 公開（公告）號: CN110023964B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 亞歷山大·戈爾班
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

與訓練和/或使用神經網絡模型相關的系統、方法和計算機可讀介質。訓練的神經網絡模型可用于基于常規圖像生成(例如，在隱藏層上)光譜圖像，并生成指示在生成的光譜圖像中存在(并在常規圖像中存在，因為光譜圖像是基于常規圖像生成的)的一個或多個特征的輸出。作為一個示例，可以將常規圖像作為輸入應用于訓練的神經網絡模型、基于常規圖像在訓練的神經網絡模型的多個層上生成的光譜圖像以及基于該光譜圖像在多個附加層上生成的輸出。生成的輸出可以根據訓練的神經網絡模型的附加層的訓練指示各種特征。

背景技術

電子常規圖像(這里稱為“常規圖像”(regular image))包括(或限于)一個或多個通道，每個通道限定人類可見光譜的值。例如，可見彩色圖像可以包括紅色通道、藍色通道、綠色通道和/或其他可見光譜通道。由常規圖像的每個通道限定的值可以包括用于圖像的多個像素中的每個像素的值，其指示在對應光譜中的像素的對應頻率和幅度(強度)。

電子光譜圖像(這里稱為“光譜圖像”(spectral image))包括其中每個限定非人類可見的光譜的值的一個或多個通道(并且還可以可選地包括其中每個限定人類可見光譜的值的通道)。光譜圖像的一些明確示例是多光譜圖像和高光譜圖像。例如，光譜圖像可以包括近紅外通道、中紅外通道、遠紅外通道、熱紅外通道、電離輻射通道、微波通道、無線電波通道、特低頻通道、超低頻通道和/或其他非人類可見的通道。而且，光譜圖像可以包括一個或多個這樣的通道：這些通道每個都是上述這些通道(或其他通道)中的一個通道的子集。例如，可以提供多個微波通道代替單個微波通道，每個微波通道覆蓋不同的頻率范圍。由光譜圖像的每個通道限定的值可以包括用于圖像的多個像素中的每個像素的值，其指示對應光譜中的像素的對應頻率。

發明內容

本說明書一般涉及與訓練和/或使用神經網絡模型相關的系統、方法和計算機可讀介質，所述神經網絡模型可用于生成(例如，在隱藏層上)對應于常規圖像的光譜圖像，并且生成指示存在于光譜圖像中(并且存在于常規圖像中，因為基于常規圖像生成光譜圖像)的一個或多個特征的輸出。

作為一個示例，可以將常規圖像作為輸入應用于經訓練的神經網絡模型、基于該常規圖像在該經訓練的神經網絡模型的多個層上生成光譜圖像并且基于該光譜圖像在多個附加層上生成輸出。所生成的輸出可以根據對該經訓練的神經網絡模型的所述附加層的訓練而指示各種特征。例如，所生成的輸出可以指示存在的一個或多個對象的分類、一個或多個存在的對象的位置、存在的對象的一個或多個狀態、存在的對象的一個或多個材料和/或其他特征。

與常規圖像相比，光譜圖像包括更豐富的數據(例如，更高水平的光譜細節、更好的看到看不見之物的能力)。結果，僅基于其中每個都包括光譜圖像訓練示例輸入的訓練示例而訓練的神經網絡模型可以提供比僅基于其中每個都包括常規圖像的訓練示例而訓練的神經網絡模型更好的性能。然而，僅基于其中每個都包括光譜圖像訓練示例輸入的訓練示例而訓練的神經網絡模型可能需要相對大量的標記的光譜圖像數據，這可能是稀缺和/或生產起來昂貴的。此外，僅基于其中每個都包括光譜圖像訓練示例輸入的訓練示例而訓練的神經網絡模型要求訓練的模型可以用于本身是光譜圖像的輸入。捕獲光譜圖像的設備可能很昂貴，限制了這種訓練模型的效用。

因此，本文描述的各種實施方式訓練第一神經網絡部分，其使得常規圖像能夠作為輸入被應用到第一神經網絡部分、并且對應于該常規圖像的光譜圖像能夠基于該輸入在第一神經網絡部分上被生成。此外，訓練第二神經網絡部分，其使得能夠將該光譜圖像作為輸入應用于第二神經網絡部分、并且能夠基于該輸入在第二神經網絡部分上生成指示該光譜圖像的一個或多個特征的輸出。