[發(fā)明專利]一種基于視覺模仿的機器人序列任務學習方法

有效

• 申請?zhí)枺?/td>: 202010036162.6
• 申請日: 2020-01-14
• 公開（公告）號: CN111203878B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設計）人: 賈之馨;林夢香;陳智鑫
• 申請（專利權）人: 北京航空航天大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;鄧治平

1.一種基于視覺模仿的機器人序列任務學習方法，其特征在于：利用深度學習的方法完成物體識別和視頻中原子動作的識別，通過基于結構化預測的任務規(guī)劃器指導機器人完成視頻模仿任務；機器人執(zhí)行模仿任務的環(huán)境為：在工作平面放置各種不同種類的物體，視覺傳感器固定于桌面正上方，機器人位于桌子側面；包括如下步驟：

第一步，根據(jù)視覺傳感器獲取的圖像，利用基于區(qū)域的掩碼卷積神經網絡算法識別圖像中的物體種類，并生成每個物體的掩碼，其中掩碼為不同大小的像素點集；

第二步，根據(jù)生成的掩碼，計算得出每個物體的掩碼的中心像素坐標(x_pixel，y_pixel)，通過視覺傳感器到實際物理坐標系的變換，得到每個物體在實際工作平面上的物理坐標(x_i，y_i)；

第三步，將需要被模仿的目標視頻逐幀讀取，每一幀與其差分圖像合并后輸入到原子動作識別模型中，輸出得到目標視頻中包含的原子動作序列；

第四步，第一、三步獲得的物體種類信息和原子動作序列信息均為字符描述，將二者合并轉換為能夠用于數(shù)學計算的一維數(shù)學向量；

第五步，將第四步的一維數(shù)學向量作為任務規(guī)劃器的輸入，輸出一個用于指導機器人的任務描述向量；

第六步，結合第五步中的任務描述向量和第二步中獲得的各個物體的物理坐標(x_i，y_i)，生成用于控制機器人的動作指令，機器人根據(jù)動作指令，逐步完成機器人對目標視頻中序列任務的模仿，模仿的動作包括抓取動作、推動作、放置動作。

2.根據(jù)權利要求1所述的基于視覺模仿的機器人序列任務學習方法，其特征在于：所述第三步中，識別視頻中原子動作序列的方法是：

原子動作模型由兩部分拼接而成：第一部分是：不包含頂部全連接層的殘差網絡預訓練模型Resnet50，該模型已經在數(shù)據(jù)集ImageNet上作預先訓練；該部分模型輸出一個長度為2048的向量，且不參與訓練；第二部分是：拼接在預訓練模型后的4層全連接層，分別包含256、128、32、4個神經元，參與訓練；最后一層4個神經元輸出長度為4的向量，該向量每一位代表一個原子動作：移動，抓取，放置，推動；將當前幀與當前幀的差分圖像合并后輸入原子動作識別模型中，預測當前幀的原子動作；

通過原子動作模型，識別待模仿的視頻中的原子動作序列的步驟為：先將視頻逐幀讀入，每一幀和該幀的前后4幀的差分圖像作為原子動作識別模型的輸入，假設視頻中共有n幀圖像，輸入表示為：

Input_k＝[I_k-2-I_k，I_k-1-I_k，I_k，I_k+1-I_k，I_k+2-I_k]，k＝3，4，..，n-2

每一個包含了n幀的視頻，能得到一個長度為n-4的序列；

對序列進行去重復化處理，使得序列中的每一段對應一個原子動作，得到具有11個原子動作的序列，并用0，1，2，3來分別表示移動，抓取，放置，推動這四個原子動作；最終得到一個11維向量作為該視頻的原子動作序列；

從示教視頻中識別到的原子動作序列用于后續(xù)任務的規(guī)劃。