[發明專利]基于生成式對抗網絡的機器人書寫書法的方法

有效

• 申請號: 201810408845.2
• 申請日: 2018-04-27
• 公開（公告）號: CN108764054B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 晁飛;干琳;呂驥圖;周昌樂
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.基于生成式對抗網絡的機器人書寫書法的方法，其特征在于包括以下步驟：

1)收集標準毛筆字筆畫數據，并按筆畫類型整理分類，并注上標注；

2)基于生成對抗網絡模型訓練兩個深度神經網絡，生成網絡G和對抗網絡D；

所述生成網絡G用于模擬原始數據生成類似原始數據分布的漢字筆畫圖像，對抗網絡D用于區分輸入圖像是來自機械臂書寫還是標準圖像數據，所述生成對抗網絡模型的目標函數為：

其中，V(D,G)表示博弈問題中的價值函數，即需要優化的目標函數，x～pr表示x服從數據庫內筆畫圖像分布pr，即表示x來自數據庫筆畫圖像；E[？]表示網絡期望值；其中D(·)表示對抗網絡D的輸出；W(·)表示機器人系統的寫入過程，每個G(·)是從圖像中獲得的；訓練得到的生成網絡G能夠生成各種不同概率分布的比劃圖像，對抗網絡D用來辨別輸入圖像的特征；

3)將隨機采樣的向量輸入生成網絡G，得到筆畫軌跡點的概率分布；

4)書法機器人應用抽樣方法從概率分布中獲取筆畫位置信息并書寫筆畫致畫板，寫好后，由相機拍攝記錄筆畫圖像；

5)將待處理的圖像進行預處理，輸入步驟2)中的對抗網絡D中進行訓練，調整參數，以達到收斂。

2.如權利要求1所述基于生成式對抗網絡的機器人書寫書法的方法，其特征在于在步驟1)中，所述收集標準毛筆字筆畫數據包括對標準毛筆字筆畫數據預處理的工作，所述數據預處理包括數據歸一化操作以及對圖片的裁剪為28像素×28像素的工作。

3.如權利要求1所述基于生成式對抗網絡的機器人書寫書法的方法，其特征在于在步驟1)中，所述標注的具體方法為1：短撇、2：橫、3：橫撇、4：捺、5：豎撇、6：豎彎鉤6種標簽。

4.如權利要求1所述基于生成式對抗網絡的機器人書寫書法的方法，其特征在于在步驟1)中，所述收集標準毛筆字筆畫數據是利用中國書法教科書中的簡單漢字，利用圖像可形變配準方法，將漢字提取成漢字筆畫，每個筆畫有500個訓練樣本，訓練樣本的總數超過3000個。

5.如權利要求1所述基于生成式對抗網絡的機器人書寫書法的方法，其特征在于在步驟3)中，所述隨機采樣得到隨機數組Z，它的維數設置為128，不同的數組Z代表不同的筆畫；根據數組利用步驟2)訓練好的生成網絡G，得到各種筆畫圖像；獲取生成網絡G輸出結果后，書法機器人應用抽樣方法從概率分布中獲取筆畫的位置信息，并利用機械手臂利用逆向運動學將所得的位置書寫在畫板上，寫好后，安裝在軟筆上方的攝像頭進行拍照記錄筆畫圖像。

6.如權利要求1所述基于生成式對抗網絡的機器人書寫書法的方法，其特征在于在步驟4)中，所述筆畫圖像由隨機比例的機器人書寫筆畫和標準毛筆字筆畫數據組成。