[發明專利]一種機器人模仿、學習講話的方法與系統

在審

• 申請號: 202010182310.5
• 申請日: 2019-08-16
• 公開（公告）號: CN111409081A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 郭志揚;喬健;吳鵬程;陳起航;朱西鋒;丁航;陳宇軒;陸佳莉;程顯達
• 申請（專利權）人: 江蘇遨信科技有限公司
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J9/16
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

1.一種機器人模仿、學習講話的方法，其特征在于，具體包括以下步驟：

步驟1、機器人終端接收到客戶的提問語音，將所述提問語音轉換成提問文字回傳給云端服務器；

步驟2、所述云端服務器將所述提問文字與題庫中的問題相匹配，若匹配成功則執行步驟3；若匹配不成功則執行步驟4；

步驟3、播放答案語音和/或答案視頻，并退出系統；

步驟4、所述云端服務器通過機器人終端將匹配不成功的提問文字發送給指定的真人客服服務端，客服人員接收到提問文字后以回答文字的形式作答，機器人終端將回答文字發送給所述云端服務器；若所述云端服務器設置在實體機器人上，則執行步驟5；若所述云端服務器設置在虛擬機器人上，則執行步驟6；

步驟5、云端服務器將回答文字發往語音轉換模塊轉換成基于實體機器人的回答語音，并將基于實體機器人的回答語音發往給機器人終端，然后執行步驟7；

步驟6、云端服務器接收到回答文字后，將回答文字轉換成基于虛擬機器人的回答語音，同時對所述回答文字進行文字斷句、匹配唇形和合成視頻，并將基于虛擬機器人的回答語音和合成視頻在虛擬機器人上播放；

步驟7、將步驟1產生的提問文字、步驟5產生的基于實體機器人的回答語音或步驟6產生的基于虛擬機器人的回答語音和合成視頻存入到題庫中去；

步驟8、給步驟7產生的新增問題按照主謂賓語設置三級關鍵詞，退出系統；

所述云端服務器針對客戶的提問設有題庫，所述題庫中存有適合虛擬機器人使用的各種唇形組合的原型視頻文件，對應每句文字不同唇形的排列組合，并賦予每個原型視頻文件不同的唇形排列組合碼一種機器人模仿、學習講話；在步驟1中具體包括以下步驟：

步驟101、所述機器人終端將客戶的提問語音傳送到云端服務器；

步驟102、所述云端服務器將客戶的提問語音傳送到語音轉換模塊，所述語音轉換模塊將所述客戶的提問語音轉換成提問文字傳回所述云端服務器一種機器人模仿、學習講話；在步驟6中具體包括以下步驟：

步驟601、所述云端服務器接收到回答文字后，按照標點符號將回答文字拆分成若干個句子；

步驟602、所述云端服務器對拆分后的句子與題庫中的原型視頻庫中的唇形進行匹配；

步驟603、將匹配成功的每一句原型視頻進行拼接，形成合成視頻；

步驟604、計算出步驟603形成的合成視頻所需的播放時間；

步驟605、云端服務器將所述回答文字，按步驟604的時間設定語速，確保發音時長等于文字演播時長，并將所述回答文字發往語音轉換模塊，語音轉換模塊將文所述字轉換成基于虛擬機器人的回答語音傳回所述云端服務器；

步驟606、將步驟603產生的合成視頻與步驟605產生的基于虛擬機器人的回答語音進行合成，形成最終合成視頻；

步驟607、將步驟606產生的合成視頻通過指定的機器人終端進行播放。

2.根據權利要求1所述的一種機器人模仿、學習講話的方法，其特征在于，在步驟602中具體包括以下步驟：

步驟6021、將句子中的每一個漢字轉化成拼音，根據拼音的元音發音不閉唇時，輔音發音時唇形微張則唇形碼設為1，唇形大張則唇形碼設為2，根據元音發音閉唇時，輔音發音時唇形微張則唇形碼設為3，唇形大張則唇形碼設為4，根據元音發音咬唇時，輔音發音時唇形微張則唇形碼設為5，唇形大張則唇形碼設為6，由此得出該句子的一串唇形排列碼；

步驟6022、在原型視頻庫中尋找并獲取唇形排列碼等同或相近的原型視頻，句子最后一個字的唇形碼必須相等；

步驟6023、若找到相配的原型視頻則執行步驟603；

步驟6024、若原型視頻庫中沒有唇形相近的唇形排列碼，則將該句唇形排列碼進行有限拆分，直至拆分后每段都找到唇形等同或相近的原型視頻，句子最后一個字的唇形碼必須相等，并將這些原型視頻拼接成句子視頻，轉步驟603；

步驟6025、若進行有限拆分后仍然找不到唇形等同或相近的原型視頻，則報告系統添加補充該唇形排列碼的原型視頻，匹配失敗，報告并退出系統。