[發(fā)明專利]在線訓(xùn)練的場景描述機(jī)器人系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910974489.5
• 申請日: 2019-10-14
• 公開（公告）號: CN110852171A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 李秀;宋愷祥;段桂春
• 申請（專利權(quán)）人: 清華大學(xué)深圳國際研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;A61H3/06
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

本申請實(shí)施例公開了一種在線訓(xùn)練的場景描述機(jī)器人系統(tǒng)及方法。所述方法包括：A1、接收新的圖像?文本對數(shù)據(jù)；A2、根據(jù)所述新的圖像?文本對數(shù)據(jù)構(gòu)建訓(xùn)練集；A3、使用所述訓(xùn)練集對訓(xùn)練狀態(tài)的圖像?文本模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的訓(xùn)練模型；A4、根據(jù)所述訓(xùn)練好的訓(xùn)練模型對用于服務(wù)的測試狀態(tài)的圖像?文本模型進(jìn)行更新。所述系統(tǒng)包括導(dǎo)盲機(jī)器人和服務(wù)器。本申請實(shí)施例的測試狀態(tài)的圖像?文本模型可隨著環(huán)境在更新和變化，可大大提高系統(tǒng)對真實(shí)場景的適應(yīng)性，可保證預(yù)測效果。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，特別涉及一種在線訓(xùn)練的場景描述機(jī)器人系統(tǒng)及方法。

背景技術(shù)

現(xiàn)存的保障盲人出行的設(shè)施或設(shè)備主要有：無障礙設(shè)施、導(dǎo)盲犬和導(dǎo)盲手杖。由于盲人的生活不便，導(dǎo)盲犬以及導(dǎo)盲手杖逐漸成為幫助盲人出行的工具。然而，導(dǎo)盲犬不易訓(xùn)練且成本較高；導(dǎo)盲手杖的探測范圍有限。盲文的學(xué)習(xí)也需要時(shí)間成本，盲人理解現(xiàn)實(shí)世界的需求十分迫切。

國內(nèi)外的研究團(tuán)隊(duì)開始致力于研究一種更智能可靠的導(dǎo)盲機(jī)器人。例如一種基于嵌入式技術(shù)的導(dǎo)盲機(jī)器人，能夠識(shí)別障礙物與交通標(biāo)志；又例如一種人機(jī)交互式導(dǎo)盲機(jī)器人，其能夠通過傳感器探測外界環(huán)境，并以語音的形式傳遞給盲人；又例如基于CNN-LSTM(CNN，Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò)；LSTM，Long Short-Term Memory，長短期記憶網(wǎng)絡(luò))的場景描述系統(tǒng)，將訓(xùn)練好的模型下載到嵌入式設(shè)備中，實(shí)現(xiàn)圖像翻譯文字的功能。

大多數(shù)幫助盲人理解現(xiàn)實(shí)世界的產(chǎn)品或系統(tǒng)，在實(shí)現(xiàn)上，首先使用公開的圖像轉(zhuǎn)文字?jǐn)?shù)據(jù)集(例如MicrosoftCOCO等)，在CNN-LSTM模型的深度學(xué)習(xí)模型上進(jìn)行訓(xùn)練，經(jīng)過模型壓縮等環(huán)節(jié)，然后燒寫到嵌入式設(shè)備中進(jìn)行使用。由于深度學(xué)習(xí)的性能好壞很大程度上取決于數(shù)據(jù)的分布；公開數(shù)據(jù)集中的圖像大多具有較高質(zhì)量和較為確定的場景；真正應(yīng)用在盲人所處的生活場景中，攝像機(jī)采集的圖像很容易出現(xiàn)模糊、曝光不足等狀況，且場景內(nèi)容也與數(shù)據(jù)集中的有較大不同，因此容易導(dǎo)致測試時(shí)效果較差，且受攝像頭質(zhì)量與拍攝角度等因素的影響較大。這是現(xiàn)有的場景描述系統(tǒng)在產(chǎn)品化的過程中面臨的困境。

以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本申請的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價(jià)本申請的新穎性和創(chuàng)造性。

發(fā)明內(nèi)容

本申請?zhí)岢鲆环N在線訓(xùn)練的場景描述機(jī)器人系統(tǒng)及方法，可解決圖像描述過程中，訓(xùn)練模型所使用的數(shù)據(jù)集的分布與從使用環(huán)境中采集的數(shù)據(jù)的分布不同所造成的預(yù)測效果不高的技術(shù)問題。

在第一方面，本申請?zhí)峁┮环N場景描述機(jī)器人的在線訓(xùn)練方法：A1、接收新的圖像-文本對數(shù)據(jù)；A2、根據(jù)所述新的圖像-文本對數(shù)據(jù)構(gòu)建訓(xùn)練集；A3、使用所述訓(xùn)練集對訓(xùn)練狀態(tài)的圖像-文本模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的訓(xùn)練模型；A4、根據(jù)所述訓(xùn)練好的訓(xùn)練模型對用于服務(wù)的測試狀態(tài)的圖像-文本模型進(jìn)行更新。

在一些優(yōu)選的實(shí)施方式中，所述A2包括：

對每一條所述新的圖像-文本對數(shù)據(jù)均賦予一個(gè)樣本權(quán)重；其中，所述樣本權(quán)重隨著所述新的圖像-文本對數(shù)據(jù)上傳的時(shí)間與當(dāng)前時(shí)間的間隔成負(fù)相關(guān)；

基于所述樣本權(quán)重將所述新的圖像-文本對數(shù)據(jù)采集到所述訓(xùn)練集中。

在一些優(yōu)選的實(shí)施方式中，所述A2還包括：

提取每一個(gè)所述新的圖像-文本對數(shù)據(jù)的全局特征；

將所述新的圖像-文本對數(shù)據(jù)的全局特征與全部數(shù)據(jù)集中的所有樣本進(jìn)行比對排序，選出相似度最高的N個(gè)樣本與相似度最低的N個(gè)樣本一同加入所述訓(xùn)練集；其中，N為整數(shù)。

在一些優(yōu)選的實(shí)施方式中，使用所述訓(xùn)練集對訓(xùn)練狀態(tài)的圖像-文本模型進(jìn)行訓(xùn)練包括：使用所述訓(xùn)練集，通過神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法搜索訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。