[發明專利]機器人視聽協同學習新目標的語音標簽自動生成方法

有效

• 申請號: 202010021821.9
• 申請日: 2020-01-09
• 公開（公告）號: CN110827351B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 茍先太;陶明江;胡永佳;張葛祥
• 申請（專利權）人: 西南交通大學
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T5/00;G06F40/284
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 何凡

本發明公開了一種機器人視聽協同學習新目標的語音標簽自動生成方法，包括對圖像進行預處理、采用對象定位模型生成對象坐標、根據概率分布距離區分新對象、語音輔助定位新目標和生成新目標標簽的JSON文件等步驟，實現新目標的語音標簽的自動生成。本發明使用對象定位和對象識別模型來框選定位目標學習的新對象，使得每張圖片中的對象都有著同樣的定位精度，避免了人工標注大量對象出現的精度問題。新目標標簽的在線自動生成，使得機器人在線自主學習新目標成為可能。

技術領域

本發明涉及機器人視覺學習技術領域，具體涉及一種機器人視聽協同學習新目標的語音標簽自動生成方法。

背景技術

目前深度學習使用的圖像數據中，圖像的標簽標注方法主要有兩類：

（1）第一類是手動添加標簽，通過人工使用如lableImg,Yolo_mark 等工具手動框選圖像中的對象，來得到所選對象的坐標，并對選中的對象進行標注。

（2）第二類是利用對象檢測方法，如Yolo、SSD、R-CNN等算法來提取出圖像中存在的所有對象，并給出對象在圖片中的具體位置，然后再通過人工來對框定的對象添加標簽描述。

方法（1）完全依靠人工進行手動標注，由于學習模型一般需要大量的訓練數據，所以手動標注會花費大量的人員精力和時間，同時會因為不同人對對象的框定標注而出現不同程度的標注精度問題。

方法（2）雖然利用了對象檢測方法框選出了對象，但這是基于對象分類的處理，只能給出對象所屬的類別，并且無法自動確認出要學習的目標新對象，仍然需要人工后續對新對象添加標簽。圖像自動標注（Automatic Image Annotation ,AIA）技術仍然是今后大規模圖像數據標注的研究重點，本專利提供一種用于機器人視聽協同學習新目標的語音標簽自動生成方法，結合圖像處理技術、語音識別、自然語言理解等技術實現實時實地對圖像進行數據標注。

發明內容

針對現有技術的上述不足，本發明提供了一種能夠利用語音成生一幅圖像中的新對象標簽數據的機器人視聽協同學習新目標的語音標簽自動生成方法。

為達到上述發明目的，本發明所采用的技術方案為：

提供一種機器人視聽協同學習新目標的語音標簽自動生成方法，其包括以下步驟：

S1：利用機器人攝像頭采集需學習新目標的圖像，并通過消噪和圖像增強對圖像進行預處理；

S2：采用對象定位模型，框選出預處理后的圖像上的所有對象，形成對象集Object = { object_1、object_2、…、object_n }，并標出每個對象框四個頂點的坐標作為對象的坐標；

S3：采用目標識別模型，識別對象集Object中的對象，得到每個對象的識別概率向量p(object_1)、p(object_2)、…、p(object_n)；

S4：設定概率分布距離閾值K₀，并計算每個概率向量p(object_1)、p(object_2)、…、p(object_n)的概率分布距離，將每個概率分布距離均與閾值K₀進行比較；