[實用新型]一種圖像傳感器及控制系統

有效

• 申請號: 202223036783.8
• 申請日: 2022-11-15
• 公開（公告）號: CN218920548U
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 嚴睿;邢志翔;李純洲;張君通;邵科
• 申請（專利權）人: 思特威（上海）電子科技股份有限公司
• 主分類號: H04N25/00
• 分類號: H04N25/00
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李艷麗

本實用新型描述了一種圖像傳感器，包括：像素陣列、模擬處理電路、存儲器以及神經網絡處理器；模擬處理電路與像素陣列連接，被配置為將像素陣列逐行曝光后的像素信號量化讀取，以獲取圖像信息；存儲器與模擬處理電路連接，被配置為存儲圖像信息及人工智能程序；神經網絡處理器與存儲器連接，被配置為執行存儲器中的人工智能程序以提取圖像信息中的語義信息并進行預處理，以輸出第一有效信息；其中，第一有效信息的數據流小于圖像信息中的語義信息的數據流。本實用新型還提供一種包含上述圖像傳感器的控制系統。在本實用新型中，圖像傳感器傳輸至電子控制單元的數據量減少，且開關頻率降低，使圖像傳感器的功耗也得到降低。

技術領域

本實用新型涉及傳感器領域，特別是涉及一種圖像傳感器、包含該圖像傳感器的控制系統。

背景技術

隨著智能駕駛的不斷發展，選擇一輛擁有智能駕駛輔助系統(ADAS)的車輛成為越來越多人們的選擇，但是根據國標GB/T?40429-2021《汽車駕駛自動化分級》，可知目前智能駕駛輔助系統處于L2級別，系統尚不能代替人去操控汽車，控制汽車的主體依舊是駕駛員而非系統。

傳統駕駛員監測系統(Driver?Monitor?System，DMS)可以持續監測駕駛員是否有走神，疲倦和分心等現象，然后汽車系統發出警告提示，可以有效降低事故發生幾率。但是此項方案有以下缺點：(1)圖像傳感器將所有圖像數據都傳輸給中央控制單元(ElectronicControl?Unit，ECU)，對于駕駛員面部信息及其他車內其他信息缺乏隱私保護，如果數據泄露，就會導致隱私信息泄露；(2)由于傳統駕駛員監測系統傳輸所有圖像數據，因此其傳輸數據量大，從而導致傳輸功耗大；(3)傳統駕駛員監測系統從拍攝到電子控制單元輸出結果中間包括曝光、傳輸、處理和執行這些步驟，其中傳輸延時占主要時間，其傳輸數據量大導致其傳輸延時高、傳輸線纜性能要求高。

實用新型內容

有鑒于此，本實用新型提供一種圖像傳感器以及包含該圖像傳感器的控制系統。

本實用新型提供了一種圖像傳感器，包括：像素陣列、模擬處理電路、存儲器以及神經網絡處理器；模擬處理電路與像素陣列連接，被配置為將像素陣列逐行曝光后的像素信號量化讀取，以獲取圖像信息；存儲器與模擬處理電路連接，被配置為存儲圖像信息及人工智能程序；神經網絡處理器與存儲器連接，被配置為執行存儲器中的人工智能程序以提取圖像信息中的語義信息并進行預處理，以輸出第一有效信息，其中，第一有效信息的數據流小于圖像信息中的語義信息的數據流。

可選的，人工智能程序包括BP神經網絡算法、卷積神經網絡算法、深度自動編碼器中至少一種。

可選的，神經網絡處理器包括數據模塊，數據模塊連接于存儲器，用于從存儲器中下載數據至神經網絡處理器，或者存儲神經網絡處理器中數據至存儲器；神經網絡處理器還至少包括：矩陣模塊，用于進行矩陣卷積運算；和/或，矢量模塊，用于進行矢量運算或加法運算；和/或，混合模塊，用于執行人工智能的通用功能；和/或，指令模塊，連接于存儲器，用于按順序加載相關指令至對應的執行模塊。

可選的，圖像傳感器還包括：系統控制模塊，被配置為進行任務規劃和資源加載；系統控制模塊分別與像素陣列、模擬處理電路、存儲器以及神經網絡處理器連接。

可選的，圖像傳感器還包括：并串轉換器，連接于神經網絡處理器，并串轉換器被配置為將神經網絡處理器輸出的第一有效信息轉換成第二有效信息，并傳輸至電子控制單元。

可選的，神經網絡處理器與并串轉換器之間采用A-PHY協議建立連接。

可選的，圖像傳感器還包括：系統控制模塊，被配置為進行任務規劃和資源加載；系統控制模塊通過I2C總線連接至并串轉換器。