[發(fā)明專(zhuān)利]一種多模態(tài)機(jī)器人智能繪畫(huà)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010199612.3
• 申請(qǐng)日: 2020-03-20
• 公開(kāi)（公告）號(hào): CN111462265A
• 公開(kāi)（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 劉彧菲;劉永;薛濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京赫曼機(jī)器人自動(dòng)化有限公司
• 主分類(lèi)號(hào): G06T11/00
• 分類(lèi)號(hào): G06T11/00;G06K9/00;G06K9/34;G10L15/22;G10L15/26
• 代理公司: 南京理工大學(xué)專(zhuān)利中心 32203
• 代理人: 岑丹

1.一種多模態(tài)機(jī)器人智能繪畫(huà)方法，其特征在于，具體為

步驟1：基于采集的圖像，生成機(jī)器人繪畫(huà)矢量圖；

步驟2：基于語(yǔ)音指令，獲得機(jī)器人繪畫(huà)語(yǔ)義信息；

步驟3：機(jī)器人融合繪畫(huà)矢量圖和繪畫(huà)語(yǔ)義信息，判斷是否為相同的繪畫(huà)任務(wù)，若是，執(zhí)行步驟5，否則執(zhí)行步驟4；

步驟4：基于繪畫(huà)矢量圖，機(jī)器人執(zhí)行繪畫(huà)動(dòng)作；

基于機(jī)器人繪畫(huà)語(yǔ)義信息，機(jī)器人執(zhí)行繪畫(huà)動(dòng)作，完成繪畫(huà)任務(wù)；

步驟5：基于繪畫(huà)矢量圖和繪畫(huà)語(yǔ)義，合并重復(fù)區(qū)域后，生成新的繪畫(huà)矢量，機(jī)器人執(zhí)行繪畫(huà)動(dòng)作，完成繪畫(huà)任務(wù)。

2.根據(jù)權(quán)利要求1所述的多模態(tài)機(jī)器人智能繪畫(huà)方法，其特征在于，基于語(yǔ)音指令，采用自然語(yǔ)言理解技術(shù)，獲得機(jī)器人繪畫(huà)語(yǔ)義信息的具體方法為：

步驟2.1：通過(guò)語(yǔ)音識(shí)別將繪畫(huà)語(yǔ)音指令轉(zhuǎn)化為文本；。

步驟2.2：對(duì)文本通過(guò)語(yǔ)義解析獲取繪畫(huà)語(yǔ)音指令的邏輯表示；

步驟2.3：通過(guò)grounding處理將指令語(yǔ)義映射到機(jī)器人繪畫(huà)語(yǔ)義。