[發明專利]圖像處理裝置、圖像信號處理器、圖像處理方法和介質

在審

• 申請號: 202210234348.1
• 申請日: 2022-03-10
• 公開（公告）號: CN114727082A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 楊雪燕;孫波
• 申請（專利權）人: 杭州中天微系統有限公司
• 主分類號: H04N9/64
• 分類號: H04N9/64
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 蔡麗

本申請實施例提供一種圖像處理裝置、圖像信號處理器、圖像處理方法和介質。在本申請實施例中，圖像處理裝置包括圖像信號處理器ISP、AI處理器和存儲模塊，并通過通信總線實現圖像信號處理器、AI處理器和存儲模塊之間的相互連接，并擴展圖像信號處理器中功能模塊的總線接口，使得功能模塊輸出的圖像數據可以保存在存儲模塊中，并由AI處理器從存儲模塊中讀取圖像數據并替代不可用功能模塊執行圖像處理任務。在AI處理器利用提供與ISP處理相關的圖像處理算法的前提下，可以靈活組合ISP提供的圖像處理算法和AI處理器提供的與ISP處理相關的圖像處理算法，以滿足不同應用場景對ISP性能要求，同時也拓展了ISP的應用范圍，使得ISP具有普適性。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種圖像處理裝置、圖像信號處理器、圖像處理方法和介質。

背景技術

圖像信號處理器(Image Signal Processor，ISP)能夠提供一系列的圖像處理處理算法對圖像傳感器(Image Sensor)輸出的原始圖像數據進行處理，處理后的圖像數據提供給后端繼續處理。實際應用中，圖像信號處理器提供的圖像處理算法例如包括但不限于：黑電平補償(black level compensation)、鏡頭矯正(lens shading correction)、壞像素矯正(bad pixel correction)、顏色插值(demosaic)、拜爾域(Bayer)噪聲去除、白平衡矯正、色彩矯正(color correction)、伽瑪校正(Gamma Correction)和顏色空間轉換。經過上述一系列的像處理處理算法，圖像數據的格式可能會從RAW域變換至RGB域，以及從RGB域變換至YUV域，RGB域圖像數據或YUV域圖像數據均可以提供給后端繼續處理。

實際應用中，不同的應用場景對圖像質量的要求不同，導致對ISP性能要求不同。有的應用場景要求對ISP在黑電平補償、鏡頭矯正等方面的性能要求高，有的應用場景對ISP在白平衡矯正、色彩矯正、伽瑪校正等方面的性能要求高，有的應用場景對ISP在顏色空間轉換方面的性能要求高。然而，現有的ISP提供的圖像信號處理算法基本硬化，只能對圖像信號處理算法的參數進行微調，難以滿足不同應用場景對不同ISP性能要求。

發明內容

本申請的多個方面提供一種圖像處理裝置、圖像信號處理器、圖像處理方法和介質，用以滿足不同應用場景對不同ISP性能要求。

本申請實施例提供一種圖像處理裝置，包括：圖像信號處理器ISP、人工智能AI處理器和存儲模塊；ISP、AI處理器和存儲模塊通過通信總線相互連接；ISP包括多個依次連接的功能模塊，每個功能模塊執行第一類圖像處理算法中的一種圖像處理算法，不同功能模塊執行不同的圖像處理算法；其中，每個功能模塊具有總線接口，并通過總線接口與通信總線連接，用于在其處于可用狀態，且其下一個功能模塊處于不可用狀態的情況下，向存儲模塊寫入其執行第一類圖像處理算法中關聯的圖像處理算法產生的第一圖像數據；AI處理器，用于從存儲模塊中讀取第一圖像數據，采用與處于不可用狀態的功能模塊適配的第二類圖像處理算法中關聯的圖像處理算法對第一圖像數據進行處理，得到第二圖像數據，并將第二圖像數據寫入存儲模塊，以供下一個處于可用狀態的功能模塊讀取并繼續對第二圖像數據進行處理，得到新的第一圖像數據。

本申請實施例提供還一種圖像信號處理器，包括：多個依次連接的功能模塊，每個功能模塊執行第一類圖像處理算法中的一種圖像處理算法，不同功能模塊執行不同的圖像處理算法；其中，每個功能模塊具有總線接口，并通過總線接口與通信總線連接，用于在其處于可用狀態，且其下一個功能模塊處于不可用狀態的情況下，向與通信總線連接的存儲模塊寫入其執行第一類圖像處理算法中關聯的圖像處理算法產生的第一圖像數據；或者，在其處于可用狀態，且其上一個功能模塊處于不可用狀態時，從存儲模塊中讀取第二圖像數據并繼續對第二圖像數據進行處理；其中，第二圖像數據是與通信總線連接的其它處理模塊對第一圖像數據進行處理得到并寫入存儲模塊中的。