[發明專利]基于感存算一體化的內窺鏡高清視頻處理系統及方法

有效

• 申請號: 202310376866.1
• 申請日: 2023-04-11
• 公開（公告）號: CN116156298B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 梁朝朝;郝宗耀;楊誠;傅強;金文平;劉進;許建國;牛迪;張艷茹;王明;朱冠蘭
• 申請（專利權）人: 安徽醫科大學;合肥德銘電子有限公司
• 主分類號: H04N23/54
• 分類號: H04N23/54;H04N23/55;H04N23/65;H04N23/95;H04N23/76;H04N5/76
• 代理公司: 北京神州信德知識產權代理事務所(普通合伙) 11814
• 代理人: 趙浩

1.一種基于感存算一體化的內窺鏡高清視頻處理系統，其特征在于，所述系統包括：感存算一體化模塊、圖像信號處理模塊和無線通信模塊；

所述感存算一體化模塊，用于感知、計算和存儲待測視場的探測信息，并輸出圖像信號；

所述圖像信號處理模塊，使用一個或多個圖像處理較正算法將所述圖像信號進行修復、優化處理，并輸出為視覺圖像信息；

所述無線通信模塊，用于構建圖像信號處理模塊與顯示器之間的通信，以將所述視覺圖像信息顯示在顯示器；

其中，所述感存算一體化模塊包括感存算芯片、預設在所述感存算芯片的信息原位處理單元；通過所述感存算芯片感知、計算和存儲待測視場的探測信息，并在計算所述探測信息的過程中運行所述信息原位處理單元，所述信息原位處理單元基于多注意力機制對所述探測信息進行多維度圖像異質融合特征表達，以實現存內原位計算；

所述信息原位處理單元至少包括：基于多注意力機制的圖像異質融合模型、具有兩層以上全連接子網絡的語言解碼網絡；

所述的圖像異質融合模型，可以根據一種多維度視覺圖像信息原位處理算法搭建；其中所述圖像異質融合模型是注意力引導的多維度圖像異質融合特征表達模型；通過該模型可以實現不同維度特征在深度子空間的最優表示，實現存內原位計算；多維度視覺圖像信息原位處理算法在模型中引入多注意力機制，通過提取多個層次的圖像特征經過多注意力結構連接到語言解碼網絡的多層語言模型中，使得語言解碼網絡可以自適應地決定生成描述時所使用的各層次的圖像特征的權重；

圖像異質融合模型，配置有基于柔性參數共享的多任務學習框架和聯合學習損失，實現多維信息解構、融合和理解；配置有基于逐組量化機制和結構化剪枝的神經網絡模型壓縮與加速方法，在算力和內存資料受約束的情況下，實現存內原位計算。

2.根據權利要求1所述的系統，其特征在于，所述系統還包括光學接頭，所述光學接頭與感存算一體化模塊耦合連接，用于獲取待測視場的探測信息。

3.根據權利要求1所述的系統，其特征在于，所述感存算芯片包括傳感模塊和存儲運算模塊，所述傳感模塊和存儲運算模塊一體集成在一基底上；

所述傳感模塊包括像素單元和模數轉換單元，所述像素單元用于采集待測視場產生的像素信號，并將采集的像素信號傳輸給所述模數轉換單元，所述模數轉換單元能夠接收所述像素信號，并將該像素信號轉換為數字信號傳輸給數據傳輸單元；所述數據傳輸單元與所述存儲運算模塊連接，用于將所述數字信號傳輸給所述存儲運算模塊；

所述存儲運算模塊，用于接收、存儲所述數據傳輸單元傳輸的數字信號，并將接收或存儲的所述數字信號進行處理，以獲得圖像信號。

4.根據權利要求3所述的系統，其特征在于，所述像素單元采用全局式快門像素結構，該全局式快門像素結構能夠在逐行讀出像素信號中的像素前執行全局動作機制，進而控制所有像素同時開始曝光和結束曝光。

5.根據權利要求3所述的系統，其特征在于，所述模數轉換單元包括采樣保持器、模數轉換器；

所述采樣保持器，將像素單元傳輸的像素信號進行模擬采樣并讀出，得到N個像素信號；

所述模數轉換器，按照時序將所述采樣保持器采集的N個像素信號轉換為至少N個像素的數字信號。

6.根據權利要求3所述的系統，其特征在于，所述存儲運算模塊采用雙字線SRAM的存內計算電路；所述雙字線SRAM的存內計算電路包括存儲陣列和外圍運算電路，所述外圍運算電路至少包括連接在所述存儲陣列相應位線的預充電路、行譯碼電路、列譯碼電路及輸出電路，所述行譯碼電路還連接有時序控制電路，所述列譯碼電路分別連接所述時序控制電路和輸出電路。

7.根據權利要求1所述的系統，其特征在于，所述圖像信號處理模塊包括：主控芯片、電源供電單元和存儲器；所述主控芯片分別與所述感存算芯片、電源供電單元和存儲器連接；所述主控芯片還與無線通信模塊進行無線通信連接。