[發明專利]一種面向殺菌機器人的多傳感器信息融合方法

有效

• 申請號: 202010410470.0
• 申請日: 2020-05-15
• 公開（公告）號: CN111582399B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 趙安妮;韓貴東;馬志剛;王旭
• 申請（專利權）人: 吉林省森祥科技有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G01D21/02;G06N3/0464;G06N3/0499;G06N3/08
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 梁紫鉞

1.一種面向殺菌機器人的多傳感器信息融合方法，其特征在于，包括以下步驟：

步驟一、生成目標分類訓練數據集：

(1)數據采集：將殺菌機器人放到不同的場景中，通過機器人的攝像頭獲取當前的視覺圖像，通過殺菌機器人的傳感器獲取相應的傳感器數據值；所述的場景包括手術室、病房、診室或其他醫療場所或需殺菌處理的場所；殺菌機器人的傳感器包括濕度傳感器、溫度傳感器、氣體傳感器；殺菌機器人的操作參數包括工作電壓、工作時間、光照頻率、機器人角度、機器人行進路線參數；

(2)A/D轉換：將傳感器獲取的數據值轉換為可被使用的數字信號；

(3)人工標注數據集：數據采集后，針對不同場景手動標注標簽，用來表示在當前場景下殺菌機器人的操作參數；

(4)均衡樣本：在進行訓練之前，讓不同標簽的樣例數目盡可能達到1:1的比例；

步驟二、通過處理融合多源信號的混合深度神經網絡獲取特征信息：

利用深度神經網絡獲取圖像的特征信息的方法如下：

圖像的矩陣信號輸入后，首先通過一個步長為2、卷積核大小為7*7的卷積層，其中卷積層計算過程由如下公式表示：

其中Z^(l,p)表示第l個卷積層的第p個特征映射輸出，X^(l-1)為第l-1層的輸入特征映射，W^(l,p^,d)和b^(l,p)為第l層的卷積核及其偏置；

在經過一次卷積后，還要通過一個步長為2的max?pooling層進行池化操作，在maxpooling層后，采用8個卷積核為3x3的卷積層進一步提取特征，其通道數分別為64、64、128、128、256、256，步長分別為1、1、2、1、2、1，其中，步長為2的卷積層用來替代池化層來對圖形的尺寸進行壓縮；為了防止深度神經網絡訓練時梯度消失等問題的發生，同時為了對之前層的特征重復利用，每隔兩個卷積層加一個跳過連接，跳過連接的起始位置表示上一層的輸出x，結束位置表示下一層的輸入y，采用計算方式：

y＝F(x)+Wx

其中F(x)表示同過兩層卷積的輸出，W表示卷積核大小為1x1的卷積操作，用來調整矩陣x的通道維度以及寬和高，確保與F(x)的尺寸相同；最后將F(x)與Wx逐像素點相加得到下一層的輸入y；在通過8個卷積層之后，通過一個global?pooling層將特征降維成尺寸為1x512的一維向量；最后通過一個全連接層得到一個1x10的向量，用來表示矩陣信號的特征信息；

利用BP神經網絡獲取傳感器的特征信息的方法如下；

各傳感器分別對應相應BP神經網絡，每個BP神經網絡由三部分組成：輸入層、隱藏層、輸出層，隱藏層由數個平等的結點組成，BP神經網絡執行流程如下:

(1)網絡初始化；設定連接權值向量與閾值向量的初始值、隱節點數、步長及動量項因子

(2)提供輸入樣本數據；

(3)計算隱層單元的輸出值；采用s型函數

(4)計算輸出單元的輸出值；采用s型函數

所述的s型函數的公式如下：

將非線性特性引入到BP神經網絡中，將每一個信號轉化為1x2的特征向量，表示其特征信息；

步驟三、建立基于投票證據理論的決策融合模型：

建立基于投票證據理論的決策融合模型：以2路投票證據理論融合為基礎，若多路則采用多次2路融合；所述的2路投票證據理論融合過程如下：m(A)是A證據的可信度，p(A)是A證據的投票可信度，m(B)是B證據的可信度，p(B)是B證據的投票可信度，則A、B的融合結果為：

其中K表示歸一化因子，反映證據沖突程度；C表示A、B的融合證據，m(C)表示融合證據C的可信度；將步驟二獲得的矩陣信號的特征向量和變量信號的特征向量輸入投票證據理論的決策融合模型獲得最終輸出，輸出殺菌機器人的操作參數；

步驟四、訓練獲得殺菌機器人操作參數模型：

通過殺菌機器人的攝像頭獲取視覺信號作為矩陣信號輸入，各種傳感器信號作為變量信號輸入，人工標注殺菌機器人操作參數，進行端到端訓練，獲得最終模型。