[發明專利]一種用于實現多路視頻解碼及AI智能分析的系統及方法

有效

• 申請號: 202211545880.1
• 申請日: 2022-12-01
• 公開（公告）號: CN115984675B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 周思遠;周平;周春云;朱洪斌;李悅;花雪祥;莊松泉;劉網
• 申請（專利權）人: 揚州萬方科技股份有限公司
• 主分類號: G06V10/94
• 分類號: G06V10/94;G06V20/40
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 李帥

1.一種用于實現多路視頻解碼及AI智能分析的系統，其特征在于，所述系統包括AI軟件平臺、視頻接入分析模塊、若干預處理模塊、任務調度模塊、若干AI分析模塊、數據傳輸模塊；

所述AI軟件平臺包括AI高性能編解碼庫、AI自定義高性能算子庫、自定義視覺庫、高性能通信庫、模型輕量化引擎；其中，AI高性能編解碼庫采用硬解碼或者編碼技術，調用視頻解碼處理接口對多路h264或h265視頻流進行實時編解碼，輸出YUV或者JPEG格式圖片；其中，AI自定義高性能算子庫集成了一套適配AI芯片的高性能推理算子，用于支持輕量化模型網絡的基礎算子，保障目標檢測算法和目標識別算法的高效推理；其中，自定義視覺庫內包含ffmpeg視覺處理庫、opencv視覺處理庫的基礎功能，用于支撐視頻拉流、圖像標注；其中，高性能通信庫，用于完成CPU和AI芯片間的數據傳輸和協同計算；其中，模型輕量化引擎，提供模型轉換和量化處理，支持基于通用框架訓練的模型轉換為所述AI軟件平臺支持的格式，支持通過調用AI自定義高性能算子庫快速完成推理分析任務；

所述視頻接入分析模塊，用于根據請求接入的多路視頻流的分辨率、視頻路數及AI分析任務對平臺內的AI資源進行自動分配；

所述若干預處理模塊，用于對請求接入的多路視頻流完成視頻解碼、圖像縮放、連續圖像幀數據格式轉換、像素標準化和圖像編碼處理；

所述任務調度模塊，用于接收所有預處理模塊輸出的數據，根據請求接入的每一路視頻流的AI分析任務，將所述每一路視頻流分配到對應的AI分析模塊中進行實時處理；

所述若干AI分析模塊，分別對若干種目標檢測識別推理應用模型進行優化；其中，各目標檢測識別推理應用模型的輸入為RGB格式、大小為1*416*416*3以及每個通道完成標準化處理后的連續圖像幀數據；各目標檢測識別推理應用模型的輸出為檢測到的目標在圖中的坐標位置和類別置信度；

所述數據傳輸模塊，用于接收所有預處理模塊和所有AI分析模塊中的數據，將AI分析模塊的推理結果在對應的連續圖像幀中進行結果標注，再將所有結果匯總后轉換為二進制流形式傳輸到客戶端。

2.根據權利要求1所述的一種用于實現多路視頻解碼及AI智能分析的系統，其特征在于，所述預處理模塊包括視頻解碼單元、圖像縮放處理單元、格式轉換單元、像素標準化處理單元、圖像編碼單元；

所述視頻解碼單元，用于對各路視頻流進行解碼，得到各路視頻流的YUV格式的第一連續圖像幀；

所述圖像縮放處理單元，用于將各路視頻流的第一連續圖像幀縮放至預設大小，得到對應的第二連續圖像幀；

所述格式轉換單元，用于將各路視頻流的第二連續圖像幀轉換為RGB格式，得到對應的第三連續圖像幀；

所述像素標準化處理單元，用于對各路視頻流的第三連續圖像幀進行各通道的像素標準化處理，得到對應的第四連續圖像幀

所述圖像編碼單元，用于將各路視頻流的第四連續圖像幀編碼為jpeg格式，得到對應的第五連續圖像幀。

3.根據權利要求1所述的一種用于實現多路視頻解碼及AI智能分析的方法，其特征在于，AI分析模塊中對目標檢測識別推理應用模型進行優化的過程包括：

通過調用模型量化接口對各目標檢測識別推理應用模型內的參數進行量化處理，從float32或float16高精度格式轉換為int8低比特格式，實現低比特存儲；

通過調用模型轉換接口對各目標檢測識別推理應用模型進行格式轉換，對算子調度和內存使用進行優化；其中，優化流程通過采用算子融合方法將模型中能夠合并的多個算子融合成一個算子；

所述對算子調度和內存使用進行優化包括：

針對CPU平臺和AI芯片架構特點設計并構建優化的智能計算基礎算子庫；

將優化后的基礎算子作為基元算子，利用基元算子組合成復合算子，通過動態計算圖和靜態計算圖轉換模式，提供統一的API編程和自動微分底層機制，設置基礎算子核心庫空間閾值1MB，在基礎算子核心庫大小不超過1MB時，完成優化。