[發(fā)明專利]一種基于圖像識(shí)別的智能機(jī)器人

有效

• 申請(qǐng)?zhí)枺?/td>: 201710088987.0
• 申請(qǐng)日: 2017-02-20
• 公開（公告）號(hào): CN106686425B
• 公開（公告）日: 2018-02-06
• 發(fā)明（設(shè)計(jì)）人: 戚湧
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): H04N21/41
• 分類號(hào): H04N21/41
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙)32231
• 代理人: 滕詣迪

1.一種基于圖像識(shí)別的智能機(jī)器人，其特征在于，所述機(jī)器人包括：

挑戰(zhàn)檢測設(shè)備，位于回看顯示設(shè)備的正下方，用于檢測羽毛球場地上的運(yùn)動(dòng)員的姿態(tài)以確定運(yùn)動(dòng)員是否發(fā)出挑戰(zhàn)動(dòng)作，在確定運(yùn)動(dòng)員發(fā)出挑戰(zhàn)動(dòng)作時(shí)，輸出啟動(dòng)挑戰(zhàn)信號(hào)，在確定運(yùn)動(dòng)員未發(fā)出挑戰(zhàn)動(dòng)作時(shí)，輸出未啟動(dòng)挑戰(zhàn)信號(hào)；

用于接收裁判員輸入的控制信號(hào)的手動(dòng)操作設(shè)備，位于裁判員位置下方，與挑戰(zhàn)檢測設(shè)備連接，包括允許挑戰(zhàn)按鍵和拒絕挑戰(zhàn)按鍵，用于在接收啟動(dòng)挑戰(zhàn)信號(hào)時(shí)，激活允許挑戰(zhàn)按鍵和拒絕挑戰(zhàn)按鍵，并在裁判員按壓允許挑戰(zhàn)按鍵時(shí)發(fā)出允許挑戰(zhàn)信號(hào)，在裁判員按壓拒絕挑戰(zhàn)按鍵時(shí)發(fā)出拒絕挑戰(zhàn)信號(hào)；手動(dòng)操作設(shè)備還用于在接收到未啟動(dòng)挑戰(zhàn)信號(hào)，禁用允許挑戰(zhàn)按鍵和拒絕挑戰(zhàn)按鍵；

用于基于裁判員輸入的控制信號(hào)確定是否為裁判員提供選擇回放時(shí)間段的輸入界面的時(shí)間段設(shè)置設(shè)備，包括觸摸屏，位于裁判員位置下方，與手動(dòng)操作設(shè)備連接，用于在接收到允許挑戰(zhàn)信號(hào)時(shí)，為裁判員提供選擇回放時(shí)間段的輸入界面，并輸出裁判員選擇的回放時(shí)間段；時(shí)間段設(shè)置設(shè)備還用于在接收到拒絕挑戰(zhàn)信號(hào)時(shí)，關(guān)閉為裁判員提供選擇回放時(shí)間段的輸入界面；

音頻采集設(shè)備，位于羽毛球場地內(nèi)，用于對(duì)羽毛球場地的觀眾席進(jìn)行音頻數(shù)據(jù)采集以輸出觀眾席音頻信號(hào)。

2.根據(jù)權(quán)利要求1所述的基于圖像識(shí)別的智能機(jī)器人，其特征在于，所述機(jī)器人還包括：

音頻去噪設(shè)備，位于羽毛球場地內(nèi)，與音頻采集設(shè)備連接，用于接收觀眾席音頻信號(hào)并對(duì)觀眾席音頻信號(hào)進(jìn)行噪聲去除處理以獲得去噪音頻信號(hào)；

音頻分析設(shè)備，位于羽毛球場地內(nèi)，與音頻去噪設(shè)備連接，用于接收去噪音頻信號(hào)，并對(duì)去噪音頻信號(hào)進(jìn)行數(shù)據(jù)分析以確定去噪音頻信號(hào)中是否存在喧鬧信號(hào)；

音頻定位設(shè)備，位于羽毛球場地內(nèi)，與音頻分析設(shè)備連接，用于接收去噪音頻信號(hào)和喧鬧信號(hào)，確定喧鬧信號(hào)在去噪音頻信號(hào)中的發(fā)生方位以作為目標(biāo)方位，并基于音頻采集設(shè)備距離各個(gè)觀眾區(qū)域的現(xiàn)場距離確定目標(biāo)方位匹配的觀眾區(qū)域以作為目標(biāo)觀眾區(qū)域，觀眾席由各個(gè)觀眾區(qū)域組成；

攝像機(jī)群，由多個(gè)高清攝像機(jī)組成，多個(gè)高清攝像機(jī)分別設(shè)置在羽毛球場地的不同位置，每一個(gè)高清攝像機(jī)包括CCD傳感設(shè)備、伽馬校正處理設(shè)備、高斯平滑設(shè)備、中值濾波設(shè)備、圖像增強(qiáng)處理、畸變類型檢測設(shè)備、畸變處理設(shè)備、參考點(diǎn)選擇設(shè)備、畸變坐標(biāo)映射設(shè)備、畸變灰度映射設(shè)備、目標(biāo)識(shí)別設(shè)備和目標(biāo)坐標(biāo)提取設(shè)備；

攝像機(jī)定標(biāo)設(shè)備，與每一個(gè)高清攝像機(jī)連接，用于獲取每一個(gè)高清攝像機(jī)的內(nèi)參數(shù)和每一個(gè)高清攝像機(jī)的外參數(shù)，每一個(gè)高清攝像機(jī)的內(nèi)參數(shù)包括高清攝像機(jī)的焦距、CCD傳感設(shè)備尺寸、攝像鏡頭失真度，每一個(gè)高清攝像機(jī)的外參數(shù)包括高清攝像機(jī)相對(duì)于羽毛球場地的相對(duì)位置以及高清攝像機(jī)的拍攝方向。

3.根據(jù)權(quán)利要求2所述的基于圖像識(shí)別的智能機(jī)器人，其特征在于，所述機(jī)器人還包括：

坐標(biāo)映射設(shè)備，與攝像機(jī)定標(biāo)設(shè)備連接，用于接收每一個(gè)高清攝像機(jī)的內(nèi)參數(shù)和每一個(gè)高清攝像機(jī)的外參數(shù)，并基于每一個(gè)高清攝像機(jī)的內(nèi)參數(shù)和每一個(gè)高清攝像機(jī)的外參數(shù)確定每一個(gè)高清攝像機(jī)的圖像空間中像素點(diǎn)坐標(biāo)與三維世界坐標(biāo)之間的映射關(guān)系；

三維坐標(biāo)擬合設(shè)備，用于分別與多個(gè)高清攝像機(jī)的目標(biāo)坐標(biāo)提取設(shè)備連接，用于接收多個(gè)平面坐標(biāo)參數(shù)，還與攝像機(jī)定標(biāo)設(shè)備連接，用于接收多個(gè)高清攝像機(jī)的圖像空間中像素點(diǎn)坐標(biāo)分別與三維世界坐標(biāo)之間的映射關(guān)系，三維坐標(biāo)擬合設(shè)備基于上述多個(gè)平面坐標(biāo)參數(shù)以及上述多個(gè)高清攝像機(jī)對(duì)應(yīng)的映射關(guān)系擬合出羽毛球目標(biāo)在三維世界坐標(biāo)系中的三維坐標(biāo)并作為三維目標(biāo)坐標(biāo)輸出。

4.根據(jù)權(quán)利要求3所述的基于圖像識(shí)別的智能機(jī)器人，其特征在于，所述機(jī)器人還包括：

環(huán)境重建設(shè)備，與每一個(gè)高清攝像機(jī)連接，用于接收分別來自多個(gè)高清攝像機(jī)的多個(gè)幾何校準(zhǔn)圖像，基于多個(gè)幾何校準(zhǔn)圖像對(duì)羽毛球場地進(jìn)行環(huán)境重建，以獲得并輸出羽毛球場地的虛擬場景；

場景融合設(shè)備，分別與環(huán)境重建設(shè)備和三維坐標(biāo)擬合設(shè)備連接，用于基于三維目標(biāo)坐標(biāo)將羽毛球目標(biāo)的運(yùn)動(dòng)位置融合到虛擬場景中以獲得并輸出融合圖像幀；

回看顯示設(shè)備，與場景融合設(shè)備連接以接收并回放融合圖像幀，回看顯示設(shè)備包括液晶顯示器、顯示驅(qū)動(dòng)器和顯示緩存。

5.根據(jù)權(quán)利要求4所述的基于圖像識(shí)別的智能機(jī)器人，其特征在于，

其中，音頻定位設(shè)備基于音頻采集設(shè)備距離各個(gè)觀眾區(qū)域的現(xiàn)場距離確定目標(biāo)方位匹配的觀眾區(qū)域以作為目標(biāo)觀眾區(qū)域包括：將上述各個(gè)現(xiàn)場距離與上述目標(biāo)方位進(jìn)行逐一匹配，將匹配成功的現(xiàn)場距離對(duì)應(yīng)的觀眾區(qū)域作為目標(biāo)觀眾區(qū)域；

其中，顯示驅(qū)動(dòng)器還分別與音頻定位設(shè)備和音頻分析設(shè)備連接，用于在接收到存在喧鬧信號(hào)時(shí)，將目標(biāo)觀眾區(qū)域相應(yīng)的文字信息以及存在喧鬧相應(yīng)的文字信息推送到顯示緩存中以便于液晶顯示器進(jìn)行顯示；

其中，顯示緩存與液晶顯示器連接，顯示驅(qū)動(dòng)器分別與顯示緩存和時(shí)間段設(shè)置設(shè)備連接，顯示驅(qū)動(dòng)器用于在接收到裁判員選擇的回放時(shí)間段時(shí)，按照裁判員選擇的回放時(shí)間段將先前從場景融合設(shè)備處接收到的融合圖像幀推送到顯示緩存內(nèi)以便于液晶顯示器持續(xù)回放。