[發明專利]一種嵌入式刀片彈性擴展AI邊緣服務器的裝置和方法

在審

• 申請號: 202010218504.6
• 申請日: 2020-03-25
• 公開（公告）號: CN111797039A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 韓磊
• 申請（專利權）人: 深圳市泓運開泰科技有限公司
• 主分類號: G06F13/362
• 分類號: G06F13/362;H04L29/08;H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于AI技術領域且公開了一種嵌入式刀片彈性擴展AI邊緣服務器的裝置和方法，該裝置包括：一塊或多塊計算解碼刀片，所述計算解碼刀片從網絡獲取網絡攝像頭輸入視頻流，通過CPU自帶解碼器解碼和預處理視頻流，得到AI芯片所需的輸入數據，通過PCIe將輸入數據傳輸到AI芯片進行推理，采集AI芯片推理返回結果，將推理結果返回遠程AI管理平臺；從PCIe獲取需要推理的輸入數據，通過AI芯片推理出結果，通過PCIe返回AI推理組件；所述交換主板通過交換機芯片將網絡攝像頭視頻流輸入到AI計算解碼刀片計算解碼刀片和AI推理刀片配套使用，可以一塊計算解碼刀片帶多開AI推理刀片。本發明擁有高算力、高帶寬、高密度、高可靠、低延時和靈活擴展等優點。

技術領域

本發明涉及AI技術領域，尤其涉及一種嵌入式刀片彈性擴展AI邊緣服務器的裝置和方法。

背景技術

AI技術可以使計算機像人一樣思考，通過軟件算法可以智能的從視頻或圖片中識別人臉、聲音和文字等信息。AI技術主要有推理、訓練、控制和通信等服務器組合而成。

AI技術需要高性能計算、大容量磁盤存儲數據和高帶寬傳輸數據等條件。因此AI技術實現的計算機和方案必須具備高性能、高帶寬和高密度等特點。

在AI專用芯片沒有開發出來以前，傳統的AI算法一般通過CPU和GPU去計算。因為傳統CPU和GPU有很多無關的指令，并且沒有AI算法專用指令，所以導致傳統的AI技術方案的算力低、功耗高和成本高等。為了實現AI技術，目前，大部分AI技術的都是通過將算法和數據上傳到云端服務器，利用云服務器的超大算力和海量存儲等技術，達到AI技術所要求的算力和響應時間。這種方式存在功耗大、成本高和延遲大等缺點。

發明內容

本發明要解決的技術問題是克服現有的缺陷，提供一種嵌入式刀片彈性擴展AI邊緣服務器的裝置和方法，擁有高算力、高帶寬、高密度、高可靠、低延時和靈活擴展等優點，可以有效解決背景技術中的問題。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明提供一種嵌入式刀片彈性擴展AI邊緣服務器的裝置，包括：

一塊或多塊計算解碼刀片，所述計算解碼刀片從網絡獲取網絡攝像頭輸入視頻流，通過CPU自帶解碼器解碼和預處理視頻流，得到AI芯片所需的輸入數據，通過PCIe將輸入數據傳輸到AI芯片進行推理，采集AI芯片推理返回結果，將推理結果返回遠程AI管理平臺；

AI推理組件，從PCIe獲取需要推理的輸入數據，通過AI芯片推理出結果，通過PCIe返回AI推理組件；

交換主板，所述交換主板通過交換機芯片將網絡攝像頭視頻流輸入到AI計算解碼刀片計算解碼刀片和AI推理刀片配套使用，可以一塊計算解碼刀片帶多開AI推理刀片；

電源，所述電源為CPU以及交換主板提供電量；

硬盤，所述硬盤與CPU連接，用于將信息儲存。

作為本發明的一種優選技術方案，每塊所述計算解碼刀片可處理0-16路1080p視頻流。

作為本發明的一種優選技術方案，所述AI推理組件為AI推理刀片，所述AI推理刀片從PCIe獲取需要推理的輸入數據，通過AI芯片推理出結果，通過PCIe返回計算解碼刀片。

作為本發明的一種優選技術方案，主板上設置有多個帶PCIe和網口的插槽，可根據性能和需求插不同數量的計算解碼刀片和AI推理刀片。

作為本發明的一種優選技術方案，所述AI推理組件為一臺服務器整機，不同角色的整機通過網絡交換機通信。

作為本發明的一種優選技術方案，所述一臺服務器整機的通信包括：