[發明專利]一種基于AR眼鏡的滅火訓練模擬方法及系統

在審

• 申請號: 202210636140.2
• 申請日: 2022-06-07
• 公開（公告）號: CN114972998A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 廖鏡森;王亮;楊嘉盛
• 申請（專利權）人: 北京海航中軟科技有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/42;G06V10/44;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06F3/01;A62C99/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉芳

1.一種基于AR眼鏡的滅火訓練模擬方法，其特征在于，包括：

獲取目標圖像，所述目標圖像由AR眼鏡兩側的攝像頭采集得到；

將所述目標圖像輸入燃燒物識別模型，當所述燃燒物識別模型識別到模擬燃燒物時，確定所述目標圖像中所述模擬燃燒物到AR眼鏡的間距；

獲取所述模擬燃燒物的水位信息以及所述水位信息對應的滅火時間；所述水位信息表征向所述模擬燃燒物噴射的水量，所述水位信息對應的滅火時間表征所述水位信息對應的水量噴射時間；

將所述水位信息以及所述水位信息對應的滅火時間輸入至滅火火勢模型，預測得到所述模擬燃燒物的火勢值；

根據所述火勢值生成模擬燃燒物火勢圖像；所述模擬燃燒物火勢圖像顯示于AR眼鏡中所述模擬燃燒物上，用于展示所述模擬燃燒物的虛擬火勢；

生成模擬燃燒物滅火指導方案：根據所述火勢值生成是否加大向所述模擬燃燒物噴射的水量，根據所述間距生成前進或后退的指令；

將所述模擬燃燒物滅火指導方案顯示在所述AR眼鏡上。

2.根據權利要求1所述的方法，其特征在于，

所述燃燒物識別模型，為MTCNN模型，包括SURF特征提取器、主干網絡和回歸器；所述SURF特征提取器用于對輸入的所述目標圖像提取SURF特征；所述主干網絡用于對所述SURF特征進行全局特征提取；所述回歸器用于根據所述全局特征識別所述模擬燃燒物。

3.根據權利要求1所述的方法，其特征在于，所述確定所述目標圖像中所述模擬燃燒物到AR眼鏡的間距，具體包括：

提取所述目標圖像中所述模擬燃燒物的輪廓；

根據雙目測距原理，根據所述模擬燃燒物的輪廓，采用相似三角形原理計算得到所述模擬燃燒物與AR眼鏡的間距。

4.根據權利要求3所述的方法，其特征在于，所述提取所述目標圖像中所述模擬燃燒物的輪廓，具體包括：

采用自適應顯著性對所述目標圖像中所述模擬燃燒物的輪廓進行提取。

5.根據權利要求1所述的方法，其特征在于，所述滅火火勢模型包括數據生成器和LSTM主干網絡；

所述數據生成器用于根據所述水位信息和相應的滅火時間計算得到水位變化速率；

所述LSTM主干網絡用于根據所述水位信息、所述水位變化速率預測得到所述火勢值。

6.根據權利要求1或5所述的方法，其特征在于，在所述將所述水位信息以及所述水位信息對應的滅火時間輸入至滅火火勢模型之前，還包括：對所述滅火火勢模型進行訓練，訓練方法如下：

獲取對燃燒物進行滅火時的樣本數據；所述樣本數據包括樣本水位信息和所述樣本水位信息對應的樣本滅火時間；

獲取對燃燒物進行滅火時的溫度值；

根據所述溫度值確定樣本火勢值，將所述樣本火勢值作為所述樣本數據對應的標簽；

將所述樣本數據輸入至所述滅火火勢模型得到預測火勢值；

根據所述預測火勢值與所述樣本數據對應的標簽確定損失函數值；

判斷所述損失函數值是否達到預設要求，若否，根據所述損失函數值對所述滅火火勢模型中網絡參數進行優化，返回“將所述樣本數據輸入至所述滅火火勢模型得到預測火勢值”步驟，若是，則停止迭代，得到訓練好的滅火火勢模型。

7.根據權利要求6所述的方法，其特征在于，所述損失函數值為均方差損失函數值。

8.根據權利要求1所述的方法，其特征在于，還包括：將滅火進度值顯示在所述AR眼鏡上；所述滅火進度值根據所述火勢值和對應的滅火時間采用加權平均算法確定。

9.一種基于AR眼鏡的滅火訓練模擬系統，其特征在于，包括：汽油桶、水槍、傳感器、處理器、AR眼鏡、傳輸線和攝像設備；

所述汽油桶用于模擬燃燒物；

所述水槍用于模擬滅火器；

所述傳感器，位于所述汽油桶內，用于采集所述汽油桶中的水位信息，并將所述水位信息傳輸給所述處理器；所述水位信息表征向所述模擬燃燒物噴射的水量，所述水位信息對應的滅火時間表征所述水位信息對應的水量噴射時間；

所述攝像設備，位于所述AR眼鏡左右兩側，用于實時采集圖像并將圖像發送給所述處理器；

所述處理器用于：

將接收到的圖像輸入燃燒物識別模型，所述接收到的圖像記為目標圖像；

當所述燃燒物識別模型識別到模擬燃燒物時，確定所述目標圖像中所述模擬燃燒物到AR眼鏡的間距；

將接收到的所述水位信息以及所述水位信息對應的滅火時間輸入至滅火火勢模型，預測得到所述模擬燃燒物的火勢值；

根據所述火勢值生成模擬燃燒物火勢圖像；所述模擬燃燒物火勢圖像設置于所述AR眼鏡中所述模擬燃燒物上，用于展示所述模擬燃燒物的虛擬火勢；

生成模擬燃燒物滅火指導方案：根據所述火勢值生成是否加大向所述模擬燃燒物噴射的水量，根據所述間距生成前進或后退的指令；所述模擬燃燒物滅火指導方案顯示在所述AR眼鏡上；

所述傳輸線用于連接所述處理器和所述AR眼鏡，將所述模擬燃燒物火勢圖像以及所述模擬燃燒物滅火指導方案傳輸給所述AR眼鏡；

所述AR眼鏡用于展示所述模擬燃燒物火勢圖像以及所述模擬燃燒物滅火指導方案。