[發(fā)明專利]一種用于實(shí)現(xiàn)多路視頻解碼及AI智能分析的系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211545880.1
• 申請(qǐng)日: 2022-12-01
• 公開（公告）號(hào): CN115984675B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 周思遠(yuǎn);周平;周春云;朱洪斌;李悅;花雪祥;莊松泉;劉網(wǎng)
• 申請(qǐng)（專利權(quán)）人: 揚(yáng)州萬方科技股份有限公司
• 主分類號(hào): G06V10/94
• 分類號(hào): G06V10/94;G06V20/40
• 代理公司: 北京華際知識(shí)產(chǎn)權(quán)代理有限公司 11676
• 代理人: 李帥

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體為一種用于實(shí)現(xiàn)多路視頻解碼及AI智能分析的系統(tǒng)及方法，包括AI軟件平臺(tái)、視頻接入分析模塊、若干預(yù)處理模塊、任務(wù)調(diào)度模塊、若干AI分析模塊、數(shù)據(jù)傳輸模塊；AI軟件平臺(tái)，為在國(guó)產(chǎn)飛騰2000+硬件平臺(tái)的基礎(chǔ)上搭建的軟件平臺(tái)，AI軟件平臺(tái)包括AI高性能編解碼庫(kù)、AI自定義高性能算子庫(kù)、自定義視覺庫(kù)、高性能通信庫(kù)、模型輕量化引擎；本申請(qǐng)解決了國(guó)產(chǎn)平臺(tái)多路視頻處理效率低且資源占用率高的問題，大幅度提升國(guó)產(chǎn)平臺(tái)多路視頻處理能力，滿足各類實(shí)時(shí)性要求高的多路視頻智能處理應(yīng)用需求，避免了國(guó)產(chǎn)平臺(tái)因超負(fù)載運(yùn)行崩潰現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體為一種用于實(shí)現(xiàn)多路視頻解碼及AI智能分析的系統(tǒng)及方法。

背景技術(shù)

國(guó)產(chǎn)自主可控計(jì)算機(jī)性能受限，在多路數(shù)據(jù)處理和智能分析領(lǐng)域基礎(chǔ)技術(shù)匱乏；國(guó)產(chǎn)計(jì)算設(shè)備的推廣與應(yīng)用已成為我國(guó)基本國(guó)策，但隨著國(guó)產(chǎn)計(jì)算機(jī)技術(shù)的不斷突破以及國(guó)產(chǎn)人工智能芯片的發(fā)展，如何基于國(guó)產(chǎn)平臺(tái)實(shí)現(xiàn)智能化平臺(tái)的構(gòu)建和應(yīng)用、提升多路數(shù)據(jù)計(jì)算處理能力、提高國(guó)產(chǎn)設(shè)備智能化水平，逐漸成為當(dāng)前需要迫切解決的痛點(diǎn)技術(shù)問題。

視頻、圖像等數(shù)據(jù)可使用攝像頭進(jìn)行實(shí)時(shí)采集，在各類實(shí)時(shí)檢測(cè)以及智能化分析應(yīng)用場(chǎng)景中應(yīng)用廣泛；H.264/H.265格式是攝像頭的視頻壓縮編碼標(biāo)準(zhǔn)，具有高壓縮比、網(wǎng)絡(luò)適應(yīng)性好等顯著優(yōu)勢(shì)；針對(duì)H.264、H.265的視頻解碼技術(shù)主要依賴軟件實(shí)現(xiàn)解碼，軟件解碼會(huì)導(dǎo)致CPU資源被嚴(yán)重占用，甚至影響到其它應(yīng)用的運(yùn)行性能，而且隨著視頻路數(shù)的增加，視頻解碼效率以及AI實(shí)時(shí)分析能力會(huì)進(jìn)一步被削弱。

在國(guó)產(chǎn)基礎(chǔ)軟硬件平臺(tái)上，需要構(gòu)建適應(yīng)于視頻、圖像等多模態(tài)數(shù)據(jù)編解碼引擎，高效的完成視頻圖像解碼、多路數(shù)據(jù)并發(fā)處理、多格式數(shù)據(jù)解析等功能，并對(duì)外提供豐富的二次開發(fā)接口，以簡(jiǎn)化上層應(yīng)用的調(diào)度流程。多路視頻分析技術(shù)廣泛應(yīng)用于安防、質(zhì)檢、巡檢等國(guó)家命脈行業(yè)，主要實(shí)現(xiàn)對(duì)多路高清視頻進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)識(shí)別，傳統(tǒng)方式主要采用Intel高性能設(shè)備并搭載商用GPU或FPGA，利用GPU/FPGA的多進(jìn)程方式對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)處理，并采用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像目標(biāo)檢測(cè)與識(shí)別。上述方式存在非自主可控、硬件資源損耗大且占用率高、過度依賴商用GPU卡、模型復(fù)雜且效率低等問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種用于實(shí)現(xiàn)多路視頻解碼及AI智能分析的系統(tǒng)及方法，以解決上述背景技術(shù)中提出的問題。

為了解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種用于實(shí)現(xiàn)多路視頻解碼及AI智能分析的系統(tǒng)，系統(tǒng)包括AI軟件平臺(tái)、視頻接入分析模塊、若干預(yù)處理模塊、任務(wù)調(diào)度模塊、若干AI分析模塊、數(shù)據(jù)傳輸模塊；

AI軟件平臺(tái)，為在國(guó)產(chǎn)飛騰2000+硬件平臺(tái)的基礎(chǔ)上搭建的軟件平臺(tái)，AI軟件平臺(tái)包括AI高性能編解碼庫(kù)、AI自定義高性能算子庫(kù)、自定義視覺庫(kù)、高性能通信庫(kù)、模型輕量化引擎；其中，AI高性能編解碼庫(kù)采用硬解碼或者編碼技術(shù)，調(diào)用視頻解碼處理接口對(duì)多路h264或h265視頻流進(jìn)行實(shí)時(shí)編解碼，輸出YUV或者JPEG格式圖片；其中，AI自定義高性能算子庫(kù)集成了一套適配AI芯片的高性能推理算子，用于支持輕量化模型網(wǎng)絡(luò)的基礎(chǔ)算子，保障目標(biāo)檢測(cè)算法和目標(biāo)識(shí)別算法的高效推理；其中，自定義視覺庫(kù)內(nèi)包含ffmpeg視覺處理庫(kù)、openev視覺處理庫(kù)的基礎(chǔ)功能，用于支撐視頻拉流、圖像標(biāo)注；其中，高性能通信庫(kù)，用于完成CPU和AI芯片間的數(shù)據(jù)傳輸和協(xié)同計(jì)算；其中，模型輕量化引擎，提供模型轉(zhuǎn)換和量化處理，支持基于通用框架訓(xùn)練的模型轉(zhuǎn)換為AI軟件平臺(tái)支持的格式，支持通過調(diào)用AI自定義高性能算子庫(kù)快速完成推理分析任務(wù)；

本發(fā)明中的AI軟件平臺(tái)采用國(guó)產(chǎn)飛騰2000+硬件平臺(tái)，適配銀河麒麟服務(wù)器版操作系統(tǒng)，完成國(guó)產(chǎn)AI驅(qū)動(dòng)模塊、基礎(chǔ)運(yùn)行環(huán)境的適配及優(yōu)化工作，優(yōu)化工作主要是結(jié)合國(guó)產(chǎn)飛騰處理器和國(guó)產(chǎn)操作系統(tǒng)特點(diǎn)，完成編譯參數(shù)配置、驅(qū)動(dòng)源碼修改、運(yùn)行環(huán)境適配、依賴環(huán)境構(gòu)建、穩(wěn)定性調(diào)優(yōu)等工作；本發(fā)明中搭建的AI軟件平臺(tái)，單設(shè)備能夠支持32路以上的視頻，極大提升了國(guó)產(chǎn)平臺(tái)多路視頻實(shí)時(shí)分析處理能力；