[發明專利]用于低功率視覺傳感器的方法和系統

在審

• 申請號: 201910681867.0
• 申請日: 2019-07-26
• 公開（公告）號: CN110401797A
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 羅恩·弗里丁;伊萊·蘇戴
• 申請（專利權）人: 小蟻科技（香港）有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N7/18
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 張俊國

一種原始數據分析系統和方法，系統包括：圖像傳感器，被配置為捕獲和傳送原始圖像數據；決策模塊，被配置為從圖像傳感器接收未圖像信號處理器處理的原始圖像數據，并決定原始圖像數據是否意味著感興趣的活動；以及至少一個控制器，被配置為控制圖像傳感器向決策模塊傳送原始圖像數據的哪個子集。另外，一種圖像數據分析系統，包括：光電檢測器；被配置為檢測感興趣的狀態的傳感器模塊；被配置為捕獲和傳送原始圖像數據的圖像傳感器；以及控制器，被配置為從光電檢測器接收照度級的值，并且一旦傳感器模塊檢測到感興趣的狀態，控制圖像傳感器以與所接收的照度級的值匹配的設置進行操作。

背景技術

一些已知的感測系統，例如運動傳感器或煙霧探測器，使用視覺數據(例如通過更好地理解情況)來提高系統的效率和準確性并減少誤報。在示例性情況下，一旦運動傳感器檢測到被監測區域中的運動，它就可以觸發可以捕獲被監測區域的圖像的圖像傳感器。基于圖像，系統可以決定是否應該采取動作，例如引發警報。

例如，一些系統使用人工智能決策模塊(例如神經網絡和/或機器學習組件)來決定諸如由相機捕獲的圖像數據之類的傳感器數據是否意味著發生感興趣的活動，例如具有特定屬性或異常或可疑活動的活動。如果檢測到感興趣的活動，即決策模塊決定傳感器數據意味著可疑活動，則觸發警報。該方法降低了由誤報引起的成本。

例如，已知的安全設備使用紅外(IR)傳感器(通常是無源IR傳感器)，其測量從其視場中的物體輻射的IR光。一些設備包括使得能夠識別可疑體的相機，例如當IR傳感器感測到異常活動時，在設備觸發警報之后，例如由安全人員檢查所捕獲的圖像。為了降低能耗，有些設備只有在觸發警報后才能操作相機。

現在參考圖1，圖1是現有技術的安全設備900的示意圖。設備900包括圖像傳感器90、緩沖存儲器92、圖像信號處理器(ISP)94和人工智能(AI)決策模塊96。AI決策模塊96可以包括圖像處理神經網絡硬件和/或軟件組件，和/或可以基于輸入數據進行分類、壓縮和/或執行任何其他合適的決策或修改。通常，圖像傳感器90將原始圖像數據傳送到緩沖存儲器92。存儲器92存儲原始數據，并用作使得ISP 94一旦完成先前的任務就能夠使用和/或處理新的原始圖像傳感器數據的緩沖器。圖像傳感器90可以包括例如電荷耦合器件(CCD)、互補金屬氧化物半導體(CMOS)和/或任何其他合適的半導體圖像感測器件。

原始圖像數據是由圖像傳感器捕獲的、未經處理的或經最少處理的數據。原始數據尚未準備好由位圖圖形編輯器進行打印、顯示或編輯，并且不能直接用作圖像，但具有創建圖像所需的所有信息。原始圖像數據可以具有比最后的最終圖像格式更寬的動態范圍或色域。根據傳感器的各個光接收元件的幾何形狀而不是預期的最終圖像中的點來感測原始數據。例如，具有六邊形元素位移的傳感器記錄每個六邊形位移單元的信息。類似地，具有其他元素結構的傳感器可以生成其他相應形式的原始數據。原始數據可以包括每個元素中的部分像素顏色數據信息，而不是具有對于期望的最終圖像中的每個點的所有RGB信息。原始數據是根據附接到傳感器的各個光接收元件上的濾色器進行感測的。取決于濾色器格式，這種不完整的像素數據可以是R、G、B或IR中的一個或者諸如品紅色、青色、黃色或其他顏色空間分量之類的互補分量之一。

ISP 94可以包括處理設備和/或軟件，和/或可以處理原始數據以將其轉換為圖像數據格式，通常具有矩形幾何形狀，適于顯示、打印和/或以其他方式呈現圖像數據，例如根據人類對顏色的感知對人類用戶的呈現圖像數據，例如紅-綠-藍(RGB)圖像數據、青色-品紅色-黃-鍵(CMYK)圖像數據或任何其他合適的圖像數據格式。因此，在現有技術的設備中，ISP94從傳感器90和/或存儲器92接收原始圖像數據，并將原始數據轉換成可用作圖像和/或準備好由位圖圖形編輯器打印、顯示和/或編輯的圖像像素。然后可以將轉換后的圖像數據傳送到AI決策模塊96。

AI模塊96接收輸入的轉換后的圖像數據并分析轉換后的圖像數據以決定從存儲器92和/或ISP 94接收的轉換后的圖像數據是否意味著感興趣的活動。在決策模塊96決定圖像數據意味著可疑活動的情況下(即AI模塊96檢測到可疑活動時)，觸發警報，和/或將任何其他合適的輸出傳送到例如安全服務器。