[發(fā)明專利]一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010218504.6
• 申請(qǐng)日: 2020-03-25
• 公開（公告）號(hào): CN111797039A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 韓磊
• 申請(qǐng)（專利權(quán)）人: 深圳市泓運(yùn)開泰科技有限公司
• 主分類號(hào): G06F13/362
• 分類號(hào): G06F13/362;H04L29/08;H04N7/18
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：包括：

一塊或多塊計(jì)算解碼刀片，所述計(jì)算解碼刀片從網(wǎng)絡(luò)獲取網(wǎng)絡(luò)攝像頭輸入視頻流，通過(guò)CPU自帶解碼器解碼和預(yù)處理視頻流，得到AI芯片所需的輸入數(shù)據(jù)，通過(guò)PCIe將輸入數(shù)據(jù)傳輸?shù)紸I芯片進(jìn)行推理，采集AI芯片推理返回結(jié)果，將推理結(jié)果返回遠(yuǎn)程AI管理平臺(tái)；

AI推理組件，從PCIe獲取需要推理的輸入數(shù)據(jù)，通過(guò)AI芯片推理出結(jié)果，通過(guò)PCIe返回AI推理組件；

交換主板，所述交換主板通過(guò)交換機(jī)芯片將網(wǎng)絡(luò)攝像頭視頻流輸入到AI計(jì)算解碼刀片計(jì)算解碼刀片和AI推理刀片配套使用，可以一塊計(jì)算解碼刀片帶多開AI推理刀片；

電源，所述電源為CPU以及交換主板提供電量；

硬盤，所述硬盤與CPU連接，用于將信息儲(chǔ)存。

2.根據(jù)權(quán)利要求1所述的一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：每塊所述計(jì)算解碼刀片可處理0-16路1080p視頻流。

3.根據(jù)權(quán)利要求1所述的一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：所述AI推理組件為AI推理刀片，所述AI推理刀片從PCIe獲取需要推理的輸入數(shù)據(jù)，通過(guò)AI芯片推理出結(jié)果，通過(guò)PCIe返回計(jì)算解碼刀片。

4.根據(jù)權(quán)利要求3所述的一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：主板上設(shè)置有多個(gè)帶PCIe和網(wǎng)口的插槽，可根據(jù)性能和需求插不同數(shù)量的計(jì)算解碼刀片和AI推理刀片。

5.根據(jù)權(quán)利要求1所述的一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：所述AI推理組件為一臺(tái)服務(wù)器整機(jī)，不同角色的整機(jī)通過(guò)網(wǎng)絡(luò)交換機(jī)通信。

6.根據(jù)權(quán)利要求5所述的一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的裝置，其特征在于：所述一臺(tái)服務(wù)器整機(jī)的通信包括：

通用服務(wù)器通過(guò)網(wǎng)絡(luò)交換機(jī)往GPU訓(xùn)練服務(wù)器下發(fā)軟件算法和數(shù)據(jù)；

通用服務(wù)器通過(guò)網(wǎng)絡(luò)交換機(jī)往AI推理服務(wù)器下發(fā)軟件算法和數(shù)據(jù)；

GPU訓(xùn)練服務(wù)器和AI推理服務(wù)器計(jì)算通過(guò)網(wǎng)絡(luò)交換機(jī)返回結(jié)果給通用服務(wù)器；

通用服務(wù)器獲取返回結(jié)果后進(jìn)一步處理和輸出結(jié)果。

7.一種嵌入式刀片彈性擴(kuò)展AI邊緣服務(wù)器的方法，其特征在于：包括以下步驟：

S1：多路網(wǎng)絡(luò)攝像頭、圖片或視頻通過(guò)網(wǎng)絡(luò)進(jìn)入AI服務(wù)器，由網(wǎng)絡(luò)交換機(jī)將數(shù)據(jù)分發(fā)傳輸?shù)讲煌腁I計(jì)算解碼刀片；

S2：根據(jù)當(dāng)前計(jì)算解碼刀片和AI刀片的負(fù)載情況，做負(fù)載均衡；

S3：由AI計(jì)算解碼刀片解碼和預(yù)處理網(wǎng)絡(luò)攝像頭視頻流，得到AI芯片所需的輸入數(shù)據(jù)后；

S4：通過(guò)PCIe接口傳輸?shù)紸I推理刀片進(jìn)行推理出數(shù)據(jù)特征；

S5：通過(guò)PCIe接口將特征數(shù)據(jù)回傳到計(jì)算解碼刀片；

S6：通過(guò)計(jì)算解碼刀片的網(wǎng)絡(luò)回傳到管理平臺(tái)。