[發明專利]一種基于軌跡模仿的機器人漢字書寫和學習的方法

在審

• 申請號: 201810438828.3
• 申請日: 2018-05-09
• 公開（公告）號: CN110465952A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 齊仁龍;張玉華
• 申請（專利權）人: 鄭州科技學院
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J9/16;B25J19/00;G09B11/00
• 代理公司: 11543 北京八月瓜知識產權代理有限公司
• 代理人: 路小龍<國際申請>=<國際公布>=<進入

1.一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，具體步驟如下：

(1)機器人的機構和組成：機器人本體，機器人本田內部設置有嵌入式系統，機器人本體的外表面設置有分別與嵌入式系統連接的可攝取書寫文字材料的圖像的攝像裝置和顯示嵌入式系統所識別出的圖像中所包含的文字以及起正確書寫步驟的顯示屏；

(2)機器人的文字識別程序：首先通過與嵌入式系統連接的攝像裝置實時捕捉機器人面前圖像，并實時監測當前圖像中是否存在你書寫了文字的紙張，然后當檢測到含有文字的圖像時，將圖像中書寫的文字檢測與切分出來；然后采用梯度特征是別脫機文字的方法對切分出來的漢字圖像進行文字識別，然后將識別的出來的漢字在顯示屏上顯示出來，并實時地在按筆順動畫顯示出該漢字的正確書寫方法。同時將識別出來的漢字通過揚聲器朗讀出來；

(3)軌跡模仿的方式：基于軌跡匹配的模仿學習可用于復雜軌跡的表征泛化，建立感知和運動信息的非線性映射，進而實現復雜運動技能的學習，書寫是復雜軌跡的運動，其學習過程存在如下兩個問題：連續性復雜軌跡的表征或者離散軌跡的生成；

(4)漢字書寫學習方法的流程：首先獲取二維示教數據，然后基于高斯混合模型對示教數據進行彪馬學習，實現軌跡表征，然后基于高斯混合回歸對高斯混合模型學習的示教的數據進行重構，得到泛化輸出，然后獲取書寫的示教數據，將基于高斯混合模型的模仿學習應用于書寫技能的學習之中，通過高斯混合回歸得到泛化的輸出，實現軌跡可連續漢字書寫，然后對高斯混合模型進行多任務擴展，針對復雜運動軌跡進行分解，通過多任務學習實現軌跡不可連續漢字書寫模仿，多任務學習是對不同運動軌跡進行同時編碼學習，與多次示教不同，多次示教是對同一運動的多次相似軌跡進行同時編碼學習，然后由軌跡表征和泛化得到書寫軌跡的一般輸出，經逆運動學轉化，映射到機器人的執行器空間，得到機器人節點角的信息，獲得控制策略，進而實現機器人書寫技能的學習；

(5)機器人的表象操作：用戶在白紙上書寫的漢字筆跡與白紙背景的灰度差比較明顯，通過對捕捉到的圖像進行直方圖均衡，二值化處理以后，筆跡即變成黑色像素，再通過水平與垂直方向的黑色像素投影，找出筆跡的矩形范圍，將書寫筆跡切分出來，然后通過評價其在液晶顯示屏顯示出評價結果，并顯示出正確的書寫方法，通過揚聲器通知用戶評價結果和改善措施。

2.根據權利要求1所述的一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，根據基于軌跡模仿的機器人漢字書寫和學習的步驟(1)中其特征在于機器人本體還設置有用于播放嵌入式系統所識別的文字的讀音、正確書寫步驟、以及對所識別的文字的評價的揚聲器，嵌入式系統設置有可自動識別書寫文字的軟件系統。

3.根據權利要求1所述的一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，根據基于軌跡模仿的機器人漢字書寫和學習的步驟(2)中文字識別方法還包括一種書寫自動評價方法，其步驟為：首先根據文字識別的結果判斷用戶書寫的漢字，如果識別結果的距離分數超過一個常數，則評價結果為不合格，否則根據識別結果的距離分數給出相應的評價結果，距離分數越小，評價結果越高，評價的結果通過顯示屏顯示，或者通過揚聲器播放。

4.根據權利要求1所述的一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，根據基于軌跡模仿的機器人漢字書寫和學習的步驟(3)中操作的方法是，如底層運動控制、控制圖模型、遞歸神經網絡，可用于書寫技能的獲取，但均不能有效解決以上問題，傳統控制較為復雜且泛化性能不足，不可移植，控制圖模型能夠生成離散軌跡，但對復雜軌跡的表征能力不足，遞歸神經網絡只能用于簡單軌跡的再現，針對以上存在的問題以及模仿學習的特點，提出一種基于灰機模仿的漢字書寫學習方法，即采用基于高斯混合模型的模仿學習進行書寫軌跡的表征和泛化，實現書寫技能的學習。

5.根據權利要求1所述的一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，根據基于軌跡模仿的機器人漢字書寫和學習的步驟(4)中二維示教數據包括示教信息的空間和時間值，其中高斯混合模型需要得到高斯分布的先驗概率、期望和方差，針對漢字軌跡復雜，一筆一劃的特點，將一個復雜的漢字分解為若干部分，引入多任務學習、分別對分解的每一部分進行歸集編碼和重構，實現多條離散歸集的同時學習與泛化，完成歸集不可連續的漢字的書寫。

6.根據權利要求1所述的一種基于軌跡模仿的機器人漢字書寫和學習的方法，其特征是，根據基于軌跡模仿的機器人漢字書寫和學習的步驟(5)中漢字識別的方式將筆跡識別，若識別結果的匹配分數較好，則認為書寫有效，繼而給出評價分數，否則認為書寫不合格。