[發明專利]基于強化學習的機器人一體化網絡架構優化方法及系統

在審

• 申請號: 202210254462.0
• 申請日: 2022-03-15
• 公開（公告）號: CN114610037A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 王賀升;劉啟明;張金鵬
• 申請（專利權）人: 上海交通大學;中國長峰機電技術研究設計院
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 牛山

1.一種基于強化學習的機器人一體化網絡架構優化方法，其特征在于，所述方法包括如下步驟：

步驟A：構建由淺入深的主干網絡，對多模傳感器輸入進行自適應融合，并進行不同程度特征抽取；

步驟B：根據機器人功能目標及其對傳感特征的抽象程度需求，將實現不同功能模塊的分支網絡緊耦合連接到主干特征抽取網絡上；

步驟C：采用強化學習損失、輔助任務和自動編解碼器三種方法構建多目標的一體化網絡優化策略，引入注意力機制對多目標的一體化網絡優化進行權重平衡。

2.根據權利要求1所述的基于強化學習的機器人一體化網絡架構優化方法，其特征在于，所述步驟A包括如下步驟：

步驟A1：對RGB相機、深度相機和三維激光雷達所獲取的數據分別進行預處理和不同程度的多級特征粗抽象；

步驟A2：使用注意力機制對多模傳感不同程度的粗抽象特征進行自適應融合，獲得不同程度粗融合特征；

步驟A3：使用更深網絡層對粗融合特征進一步進行精提取，獲取不同程度的精提取特征。

3.根據權利要求1所述的基于強化學習的機器人一體化網絡架構優化方法，其特征在于，所述步驟A1包括如下步驟：

步驟A1.1：對RGB圖像和深度圖像在不同通道上進行多層卷積，并提取不同層級卷積后得到的特征向量，以輸入為起點，多層卷積網絡輸出的圖像粗抽象特征依次為其中x_i代表圖像經神經網絡處理后得到的特征向量，上標m為圖像粗卷積網絡層的編號，m越大表示對應特征向量壓縮程度更高、是由更深網絡層輸出的；

步驟A1.2：對三維激光雷達數據使用特定網絡進行特征提取，該網絡需要具備分段提取的網絡結構；以輸入為起點，提取激光雷達數據的粗抽象特征依次為其中x_l代表激光雷達點云經神經網絡處理后得到的特征向量，上標n為三維點云粗處理網絡層的編號，n越大表示對應特征向量壓縮程度更高、是由更深網絡層輸出的。

4.根據權利要求1所述的基于強化學習的機器人一體化網絡架構優化方法，其特征在于，所述步驟A1.1和A1.2中提取網絡均采用多層串聯結構，形成由淺到深架構。

5.根據權利要求1所述的基于強化學習的機器人一體化網絡架構優化方法，其特征在于，所述步驟A2包括如下步驟：

步驟A2.1：對任意兩個待融合特征和表示編號a的圖像處理網絡層輸出的圖像特征，表示編號為b的三維點云處理網絡層輸出的點云特征，1≤a≤m，1≤b≤n，計算增廣特征向量：

其中W_i和W_l為可訓練增廣矩陣，兩者行數均為s，增廣矩陣列數隨輸入向量大小變化，計算結果為圖像特征增廣向量，為點云特征增廣向量；

步驟A2.2：計算自適應系數：

其中為訓練的注意力核，exp為以自然常數e為底的指數函數，σ為非線性函數，“||”為向量級聯，計算結果α_i和α_l分別表示圖像特征和點云特征對應的加權系數；

步驟A2.3：通過自適應系數加權求和獲取融合后的特征：

其中，δ為非線性函數，x_f表示輸出的融合特征，上標ab表示該融合特征是由圖像特征和點云特征生成的；

步驟A2.4：對任意一個待融合粗圖像特征和任意一個待融合粗三維點云特征其中，的上標表示該特征是由編號為j的圖像處理網絡層輸出的，1≤j≤m，的上標表示該特征是由編號為k的點云處理網絡層輸出的，1≤k≤n，根據步驟A2.1-步驟A2.3計算融合后特征其中，的上標表示該融合特征是由與融合得到的，根據步驟B中的需求只計算部分融合特征。