[發明專利]一種基于相機單元陣列的混合智能研究系統及控制方法

有效

• 申請號: 201710457327.5
• 申請日: 2017-06-16
• 公開（公告）號: CN107351080B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 鄭能干;關凱;朱健;歐陽震寰;劉棟;潘綱
• 申請（專利權）人: 浙江大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J9/22;G06K9/00;G06K9/34;G06T3/40;G06T7/11;G06T7/194
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于混合智能研究系統的動物機器人控制方法，其特征在于，

所述混合智能研究系統，包括：

動物機器人及其實驗場景；

若干陣列排布的圖像采集單元，用于實時采集具有動物機器人實驗場景的圖像；

圖像處理器，將所述圖像拼接，獲得全局圖像，將僅包含動物機器人的前景圖像從所述全局圖像中分割出來，從所述前景圖像中提取動物機器人的形態學特征；

刺激指令生成及輸出單元，依據動物機器人當前的行為狀態，利用預訓練模型生成刺激指令，所述預訓練模型利用深度強化學習算法一步完成；

負載在動物機器人上的微型無線電子背包，接收所述刺激指令，對動物機器人進行微電刺激；

所述圖像采集單元為相機，利用相機單元的無限擴展性，實時采集大范圍實驗場景中動物機器人行為信息；

所述圖像處理器包括：

圖像矯正模塊，對采集的原始圖像進行矯正和拉直；

圖像拼接模塊，對矯正后的圖像按物理排列順序進行拼接及邊緣融合，得到全局圖像；

圖像分割模塊，對全局圖像進行前/后景分割，獲得僅包含動物機器人的前景圖像；

特征提取模塊，包括靜態特征提取模塊和動態特征提取模塊，所述靜態特征包括動物機器人的輪廓、面積、骨架線、重心坐標、面部朝向；所述動態特征包括運動速度、轉動速度、頭部角速度；

所述刺激指令生成及輸出單元包括：

特征識別模塊，對提取的形態學特征進行識別，判斷動物機器人當前的行為狀態；

指令生成模塊，以行為狀態進行輸入，通過預訓練模型算出刺激指令，并輸出；

指令轉換模塊，根據刺激指令生成相應的刺激參數；

指令傳輸模塊，通過無線通信方式，將刺激參數發送到微型無線電子背包；

所述特征識別模塊和指令生成模塊利用深度強化學習算法一步完成；

所述控制方法包括以下步驟：

(1)利用若干陣列排布的圖像采集單元，實時采集具有動物機器人實驗場景的圖像；

(2)對采集的原始圖像進行矯正、拼接獲得全局圖像，再將僅包含動物機器人的前景圖像從所述全局圖像中分割出來，從所述前景圖像中提取動物機器人的形態學特征；所述形態學特征包括靜態特征和動態特征，所述靜態特征包括動物機器人的輪廓、面積、骨架線、重心坐標、面部朝向；所述動態特征包括運動速度、轉動速度、頭部角速度；

(3)對提取的形態學特征進行識別，判斷動物機器人當前的行為狀態，通過預訓練模型計算并輸出刺激指令；

(4)負載在動物機器人上的微型無線電子背包接收所述刺激指令，對動物機器人進行微電刺激；

步驟(2)中，所述矯正，包括：

(a)利用相機矯正算法，獲得各個圖像采集單元的矯正參數；

(b)利用矯正參數對采集的原始圖像進行矯正和重映射，獲得矯正圖像；

重映射的插值算法為雙線性插值算法；

所述拼接，包括：

(ⅰ)利用SIFT特征提取方法提取矯正圖像的特征點，計算相鄰兩幅矯正圖像中任意兩個特征點之間的歐式距離；

(ⅱ)利用RANSAC方法為所有的特征點進行兩兩配對，將矯正圖像進行旋轉平移使得配對的兩個特征點重合，再針對相鄰矯正圖像的重疊部分進行邊緣融合處理，獲得全局圖像；

SIFT特征提取方法中，尺度金字塔層數為5～8層，特征描述符的維度為128維；融合處理采用基于羽化融合的圖像拼接算法；

將全局圖像進行劃區塊，根據動物機器人在上一幀全局圖像中所處的位置，判斷所處的區塊編號，在這一幀的計算中僅對該區塊進行插值處理，其余區塊利用上一幀緩存的背景圖像進行更新；

步驟(2)中，采用自適應混合高斯背景差分方法對全局圖像進行前/背景分割，得到僅包含動物機器人的二值圖像；

步驟(3)中，強化學習算法交互框架為：代表算法的智能體利用環境的輸入狀態S及環境給出的獎勵值r，訓練策略π；策略指的是在算法接收到狀態S，獲得獎勵r的情況下，對下一步做出的動作A的選擇；

智能體所采用的算法為Actor-Critic，具體實施為：

a)Actor-Critic算法中的兩個部分：策略π以及價值函數v，兩者均采用兩層全連接神經網絡進行擬合，每層節點數為512；

b)算法更新策略及價值函數的過程中，采用n-step的TD-error的更新方式，n＝20；

c)算法中step的定義為，相機單元陣列采集到一幀原始圖像，此圖像經過處理得到行為特征，特征輸入智能體，智能體輸出控制指令，無線電刺激背包接收到指令并對動物機器人進行刺激這一過程。

2.如權利要求1所述的基于混合智能研究系統的動物機器人控制方法，其特征在于，所述圖像采集單元以m×n矩陣形式排布，其中m、n為2～8。