[發明專利]基于圖像信號處理的神經網絡的方法和設備

在審

• 申請號: 201611033526.5
• 申請日: 2016-11-15
• 公開（公告）號: CN106934426A
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 張強;冀正平;王一兵;伊利亞·奧維先尼科夫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 張川緒,胡江海

技術領域

在此公開的本發明涉及神經網絡，具體地說，涉及用于使用神經網絡執行圖像信號處理的技術。

背景技術

成像傳感器的廣泛可用性已經允許制造商在很多裝置中包括成像能力。例如，難以找到不包括數字相機的蜂窩電話。盡管用于成像傳感器的制造成本已經大大減小并且用于成像的技術已經大大提高，但是圖像信號處理仍是個挑戰。

一般地，圖像信號處理已經要求為特定的成像傳感器而構造的專用組件。專用圖像信號處理器的發展可能是非常昂貴的。例如，必須寫入大量的計算機代碼以處理圖像。寫入這樣的代碼涉及用于執行處理的調整和設計的許多專門知識。此外，這樣的代碼必須為各個傳感器量身定制，并且可能需要針對特定的用戶而定制。使事情更復雜的是，這樣的代碼不考慮在制造過程中可能產生的一組成像傳感器的制造變異性。

除了增加的制造成本和復雜度以外，專用于圖像信號處理的特定的芯片集可能相對固定并且不能很好地適合所有環境。因此，包括在成像裝置中的圖像信號處理能力越高，裝置內所需的相關聯的成本和空間越高。

需要改進的技術來更加高效地提供圖像信號處理。該技術應該利用常見的資源，諸如，多用處理器和存儲器。優選地，該技術應該是高度靈活的，使得該技術可被容易地改進。

發明內容

在一個實施例中，提供一種圖像信號處理(ISP)系統。所述系統包括通過輸入原始數據圖像的集以及相關的期望質量的輸出圖像的集訓練的神經網絡；神經網絡包括用于接收輸入圖像數據的輸入，并且提供處理的輸出；其中，處理的輸出包括已經針對至少一個圖像質量屬性調整的輸入圖像數據。

神經網絡可包括卷積神經網絡。神經網絡可通過反向傳播技術被訓練。神經網絡可被配置為被下載到移動成像裝置。所述至少一個圖像質量屬性可包括：圖像大小、縱橫比、亮度、強度、位深度、白度值、動態范圍、灰階、輪廓、平滑、斑點、顏色空間值、交錯、校正、伽馬校正、邊緣增強、對比度增強、銳度和去馬賽克。

在另一實施例中，提供一種用于提供圖像信號處理(ISP)系統的方法。所述方法包括：配置用于圖像處理的神經網絡；使用原始數據圖像的集和期望質量輸出圖像的集來訓練神經網絡，其中，原始數據圖像的集中的圖像與期望質量的輸出圖像的集中的圖像相關；配置訓練的神經網絡來接收輸入圖像數據并且提供處理的輸出數據，其中，處理的輸出包括已經針對至少一個圖像質量屬性調整的輸入圖像數據。

所述方法還可包括通過反向傳播來訓練神經網絡。所述方法還可包括使用成像裝置來采集原始圖像數據的集。所述方法還可包括：處理原始圖像數據的集，以提供將被用作期望質量輸出圖像的集的傳統處理的圖像數據的集。所述傳統處理指通過使用不采用神經網絡的典型圖像處理方法來處理圖像數據。所述方法還可包括使用參考成像裝置來采集期望質量的輸出圖像的集。所述方法還可包括具有期望質量輸出圖像中的至少一些的屬性參考數據。訓練的步驟可在遠程系統上執行，并且配置訓練的神經網絡的步驟包括將神經網絡下載到成像裝置。所述至少一個圖像質量屬性可包括：圖像大小、縱橫比、亮度、強度、位深度、白度值、動態范圍、灰階、輪廓、平滑、斑點、顏色空間值、交錯、校正、伽馬校正、邊緣增強、對比度增強、銳度和去馬賽克。

在另一實施例中，提供一種成像裝置。所述裝置包括：成像傳感器、處理器和存儲器；以及圖像信號處理(ISP)系統，包括：存儲在非暫時性機器可讀介質上的機器可執行的指令，所述指令包括通過輸入原始數據圖像的集和相關的期望質量的輸出圖像的集來訓練的神經網絡；神經網絡包括用于從成像傳感器接收輸入圖像數據的輸入并且提供處理的輸出；其中，處理的輸出包括已經針對至少一個圖像質量屬性調整的輸入圖像數據。

所述成像裝置可包括智能電話、平板計算機、照相機和醫學成像裝置中的一個。圖像信號處理(ISP)系統可被提供作為補充傳統的圖像信號處理系統和代替傳統的圖像信號處理系統之一。所述成像裝置還可被配置用于與遠程系統進行通信，以在所述成像裝置與遠程系統之間分配計算任務。所述成像裝置還可被配置用于周期的重新訓練。所述成像裝置還可被配置用于通用成像、醫學成像、安全成像和產品成像中的一個。可通過反向傳播來執行訓練。

所述成像裝置可被重新配置以更新圖像信號處理系統。重新配置的操作可(例如)根據裝置的地理位置，通過與遠程系統通信自動地完成。重新配置的操作可根據用戶的偏好通過與遠程系統通信來完成。

附圖說明

從下面結合附圖的描述，本公開的特征和優點是顯而易見的，其中：