[發(fā)明專利]基于生成式對抗網(wǎng)絡(luò)的機(jī)器人書寫書法的方法

有效

• 申請?zhí)枺?/td>: 201810408845.2
• 申請日: 2018-04-27
• 公開（公告）號: CN108764054B
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 晁飛;干琳;呂驥圖;周昌樂
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

基于生成式對抗網(wǎng)絡(luò)的機(jī)器人書寫書法的方法，涉及機(jī)器人。收集標(biāo)準(zhǔn)毛筆字筆畫數(shù)據(jù)，并按筆畫類型整理分類，并注上標(biāo)注；基于生成對抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)，生成網(wǎng)絡(luò)G和對抗網(wǎng)絡(luò)D；將隨機(jī)采樣的向量輸入生成網(wǎng)絡(luò)G，得到筆畫軌跡點(diǎn)的概率分布；書法機(jī)器人應(yīng)用抽樣方法從概率分布中獲取筆畫位置信息并書寫筆畫致畫板，寫好后，由相機(jī)拍攝記錄筆畫圖像；將待處理的圖像進(jìn)行預(yù)處理，輸入對抗網(wǎng)絡(luò)D中進(jìn)行訓(xùn)練，調(diào)整參數(shù)，以達(dá)到收斂。生成機(jī)制具有良好的學(xué)習(xí)能力，可使書法機(jī)器人具有可自動(dòng)生成各種風(fēng)格筆畫的生成機(jī)制，解決了目前書法機(jī)器人耗費(fèi)大量人力手動(dòng)輸入的困難。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人，尤其是涉及深度學(xué)習(xí)、生成對抗網(wǎng)絡(luò)(GAN)、運(yùn)動(dòng)學(xué)以及傳統(tǒng)圖像處理的基于生成式對抗網(wǎng)絡(luò)的機(jī)器人書寫書法的方法。

背景技術(shù)

機(jī)器人技術(shù)中促進(jìn)人類文化和文明方面的應(yīng)用，如機(jī)器人寫作和繪圖，是傳統(tǒng)機(jī)器人研究常常忽略的一個(gè)主要話題。機(jī)器人寫作的研究側(cè)重于控制算法的設(shè)計(jì)，以驅(qū)動(dòng)機(jī)器人終端效應(yīng)器編寫復(fù)雜的字符或字母。由于漢字寫作必須考慮字符筆畫的空間搭配，高質(zhì)量的書寫必須在正確的位置找到形狀良好的筆畫，因此漢字的書寫質(zhì)量基本上取決于字符筆畫的質(zhì)量?，F(xiàn)有的高質(zhì)量筆畫書寫需要書法機(jī)器人來同時(shí)控制各種關(guān)節(jié)，以使筆精確移動(dòng)。因此，只有機(jī)器人預(yù)定義的字體數(shù)據(jù)庫中存在的字符才能被機(jī)器人寫入。然而，這導(dǎo)致目前的書法機(jī)器人面臨一個(gè)具有挑戰(zhàn)性的難題，即這些機(jī)器人不能產(chǎn)生具有良好多樣性的筆畫。換句話說，現(xiàn)在的書法機(jī)器人的書寫結(jié)果都是一樣的，缺乏人類書法家通常具有的創(chuàng)造力。

目前，大多數(shù)書法機(jī)器人都是應(yīng)用直接編程的方法將大型字體數(shù)據(jù)庫附加到機(jī)器人控制系統(tǒng)([1]X.Ma,Q.Kong,W.Ma,and X.Zhang,“4-DOF lettering robots trajectoryplanning,”inMechanical Engineering and Automation,2010,vol.165,no.5,pp.161–163；[2]Y.Man,C.Bian,H.Zhao,C.Xu,and S.Ren,“A kind of calligraphy robot,”inIEEE International Conference on Information Sciences and InteractionSciences,China,2010,pp.635–638。這種方法需要復(fù)雜而龐大的人力投入來將字體信息轉(zhuǎn)換為機(jī)器人的軌跡([3]H.Zeng,Y.Huang,F.Chao,and C.Zhou,“Survey of roboticcalligraphy research,”CAAI Transactions on Intelligent Systems,vol.11,no.1,pp.15–26,2016)。還有部分研究利用操縱器的后續(xù)能力獲得豐富的字體信息，這成功地將人類書法風(fēng)格賦予機(jī)器人。然而，該方法仍然需要大量的人力工作來使操縱者能夠產(chǎn)生足夠的字體信息。本方法試圖使用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)寫作和繪畫能力([4]K.Sasaki,K.Noda,and T.Ogata,“Visual motor integration of robot’s drawing behaviorusing recurrent neural network,”Robotics and Autonomous Systems,vol.86,pp.184–195,2016)。事實(shí)上，書法機(jī)器人具有可自動(dòng)生成各種風(fēng)格的生成機(jī)制，這非常有吸引力。另外，希望生成機(jī)制具有良好的學(xué)習(xí)能力，使得可以使用訓(xùn)練數(shù)據(jù)來訓(xùn)練機(jī)制，而不是以大量的人力消耗來手動(dòng)設(shè)置。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)在的書法機(jī)器人的書寫結(jié)果都是一樣的，缺乏人類書法家通常具有的創(chuàng)造力的問題，提供可使機(jī)器人具有良好的學(xué)習(xí)能力，進(jìn)而實(shí)現(xiàn)機(jī)器人書寫多樣性和獨(dú)創(chuàng)性的基于生成式對抗網(wǎng)絡(luò)的機(jī)器人書寫書法的方法。