[發明專利]重復人類任務的少鏡頭學習

在審

• 申請號: 202011500141.1
• 申請日: 2020-12-18
• 公開（公告）號: CN113011452A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 宋歡;任騮
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉藝詩;周學斌

1.一種用于重復人類任務的少鏡頭學習的方法，所述方法包括：

針對重復任務的多個周期執行傳感器數據的基于滑動窗口的時間分割，所述多個周期包括參考周期和一個或多個操作周期；

執行所述多個周期的運動對準，所述運動對準將所述多個周期的部分映射到所述多個周期中其他周期的對應部分；

根據運動對準為所述多個周期的每個對應部分構造類別；

執行元訓練以根據從標注的人類運動集合中采樣的數據和每個對應部分的類別來教導模型，所述模型利用雙向長短期記憶（LSTM）網絡來計及所述多個周期之間的長度變化；以及

使用所述模型實時對傳感器數據的數據流執行時間分割，以用于預測數據流內的運動窗口。

2.根據權利要求1所述的方法，其中使用動態時間扭曲（DTW）來執行運動對準，以計算所述多個周期的離散部分之間的最佳匹配。

3.根據權利要求1所述的方法，其中使用參考周期作為錨來執行運動對準，以對準所述一個或多個操作周期。

4.根據權利要求1所述的方法，其中LSTM網絡包括在前向方向上看的第一單元和在后向方向上看的第二單元，其中來自第一單元和第二單元中的每個的隱藏嵌入被組合以形成固定長度的輸出嵌入。

5.根據權利要求1所述的方法，其中所述模型通過以下操作被訓練：

計算每個類別的類原型作為類別的嵌入向量的均值；

使用在查詢樣本與類原型之間的歐氏距離之上的softmax函數對預測的類分布進行建模；以及

通過最小化關于類別的真實類標注的負對數概率損失來學習。

6.根據權利要求1所述的方法，其中從數字手套接收傳感器數據。

7.一種用于重復人類任務的少鏡頭學習的系統，包括：

存儲器，被配置為存儲包括參考周期和一個或多個操作周期的少鏡頭分析應用和運動捕獲數據；和

處理器，操作性地連接到存儲器，并且被配置為執行少鏡頭分析應用，以

針對重復任務的多個周期執行傳感器數據的基于滑動窗口的時間分割，所述多個周期包括參考周期和所述一個或多個操作周期；

執行所述多個周期的運動對準，所述運動對準將所述多個周期的部分映射到所述多個周期中的其他周期的對應部分；

根據運動對準為所述多個周期的每個對應部分構造類別；

執行元訓練以根據從標注的人類運動集合中采樣的數據和每個對應部分的類別來教導模型，所述模型利用雙向長短期記憶（LSTM）網絡來計及所述多個周期之間的長度變化；以及

使用所述模型實時對傳感器數據的數據流執行時間分割，以用于預測數據流內的運動窗口。

8.根據權利要求7所述的系統，其中使用動態時間扭曲（DTW）來執行運動對準，以計算所述多個周期的離散部分之間的最佳匹配。

9.根據權利要求7所述的系統，其中使用參考周期作為錨來執行運動對準，以對準所述一個或多個操作周期。

10.根據權利要求7所述的系統，其中LSTM網絡包括在前向方向上看的第一單元和在后向方向上看的第二單元，其中來自第一單元和第二單元中的每個的隱藏嵌入被組合以形成固定長度的輸出嵌入。

11.根據權利要求7所述的系統，其中處理器進一步被配置為執行少鏡頭分析應用，以通過包括以下各項的操作來訓練所述模型：

計算每個類別的類原型作為類別的嵌入向量的均值；

使用在查詢樣本與類原型之間的歐氏距離之上的softmax函數對預測的類分布進行建模；以及

通過最小化關于類別的真實類標注的負對數概率損失來學習。

12.根據權利要求7所述的系統，其中從數字手套接收傳感器數據。