[發(fā)明專利]一種基于WebRTC的機(jī)器人遠(yuǎn)程通話系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011422525.6
• 申請(qǐng)日: 2020-12-08
• 公開（公告）號(hào): CN112261343A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 余小康;張鴻軒;顧建軍;朱世強(qiáng);李特
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號(hào): H04N7/14
• 分類號(hào): H04N7/14;H04N21/4788;H04L29/06
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開了一種基于WebRTC的機(jī)器人遠(yuǎn)程通話系統(tǒng)，包括客戶端、信令服務(wù)、消息服務(wù)和機(jī)器人。客戶端通過信令服務(wù)和消息服務(wù)主動(dòng)與機(jī)器人建立點(diǎn)對(duì)點(diǎn)連接，傳輸音視頻流，播放視頻和語音；信令服務(wù)負(fù)責(zé)存儲(chǔ)、轉(zhuǎn)發(fā)客戶端和機(jī)器人的消息，維護(hù)客戶端與機(jī)器人的映射關(guān)系；消息服務(wù)接收客戶端發(fā)布的身份ID、信令服務(wù)地址等信息，供機(jī)器人訂閱，支持MQTT和HTTP協(xié)議；機(jī)器人通過信令服務(wù)和消息服務(wù)與客戶端建立點(diǎn)對(duì)點(diǎn)連接，傳輸音視頻流，播放視頻和語音。本發(fā)明不但支持客戶端與機(jī)器人的建立音視頻通話，還支持通話的斷線自動(dòng)重連、機(jī)器人忙碌等待、機(jī)器人音視頻顯示可配置，信令服務(wù)支持多組一對(duì)一的客戶端與機(jī)器人通話。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人技術(shù)領(lǐng)域，具體地涉及一種基于WebRTC的機(jī)器人遠(yuǎn)程通話系統(tǒng)。

背景技術(shù)

隨著機(jī)器人技術(shù)的日益進(jìn)步，機(jī)器人的智能控制技術(shù)得到了長(zhǎng)足發(fā)展，在深空探測(cè)、深海探測(cè)、智能物流、自主導(dǎo)覽等場(chǎng)景下都有著重要作用，但當(dāng)前的機(jī)器人依然無法完全滿足在復(fù)雜場(chǎng)景下的自主移動(dòng)作業(yè)需求，為了更好的應(yīng)對(duì)復(fù)雜場(chǎng)景，機(jī)器人一般會(huì)帶有人工控制移動(dòng)的功能。在人工控制機(jī)器人移動(dòng)時(shí)，需要通與機(jī)器人進(jìn)行實(shí)時(shí)音視頻通話，進(jìn)而根據(jù)實(shí)際情況來操作機(jī)器人。

目前機(jī)器人的實(shí)時(shí)音視頻通話一般通過安裝軟件或者瀏覽器插件的方式進(jìn)行，對(duì)于很多用戶來說，插件的下載、軟件的安裝和更新是復(fù)雜且容易出現(xiàn)問題的。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于WebRTC的機(jī)器人遠(yuǎn)程通話系統(tǒng)。該遠(yuǎn)程通話系統(tǒng)的客戶端可以在瀏覽器內(nèi)與機(jī)器人進(jìn)行音視頻通話，通話異常中斷后會(huì)自動(dòng)重連；信令服務(wù)可以維護(hù)多組客戶端與機(jī)器人的一對(duì)一通話，實(shí)時(shí)監(jiān)測(cè)通話連接是否正常；機(jī)器人啟動(dòng)后即開始監(jiān)聽音視頻通話連接，通話結(jié)束后會(huì)繼續(xù)監(jiān)聽新的連接，通話時(shí)不依賴瀏覽器，并支持忙碌等待。

為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明采用如下技術(shù)方案：一種基于WebRTC的機(jī)器人遠(yuǎn)程通話系統(tǒng)，所述機(jī)器人遠(yuǎn)程通話系統(tǒng)包括：客戶端、信令服務(wù)、消息服務(wù)和機(jī)器人，所述客戶端和機(jī)器人均安裝有攝像頭、音響、麥克風(fēng)、顯示器，所述客戶端使用支持WebRTC的瀏覽器通過信令服務(wù)與消息服務(wù)主動(dòng)與機(jī)器人建立音視頻通話，并且支持通話的斷線自動(dòng)重連；所述信令服務(wù)用于存儲(chǔ)、轉(zhuǎn)發(fā)客戶端和機(jī)器人的消息，維護(hù)多組客戶端與機(jī)器人的1對(duì)1映射關(guān)系；所述消息服務(wù)用于接收客戶端發(fā)布的身份ID、信令服務(wù)地址等信息，供機(jī)器人訂閱，支持MQTT和HTTP協(xié)議；所述機(jī)器人通過信令服務(wù)器和消息服務(wù)與客戶端建立點(diǎn)對(duì)點(diǎn)連接，傳輸音視頻流，播放視頻和語音。

進(jìn)一步地，所述信令服務(wù)通過WebSocket連接與客戶端和機(jī)器人通信，當(dāng)信令服務(wù)器與客戶端和機(jī)器人任意一方的連接中斷時(shí)，會(huì)自動(dòng)斷開與另一方的WebSocket連接，并清理保存的客戶端與機(jī)器人信息及映射關(guān)系。

進(jìn)一步地，所述客戶端通過HTTP協(xié)議發(fā)布身份ID、信令服務(wù)地址信息到消息服務(wù)，機(jī)器人通過MQTT協(xié)議訂閱客戶端身份ID、信令服務(wù)地址信息。

進(jìn)一步地，所述機(jī)器人使用Gstreamer的WebRTC插件，通過信令服務(wù)器和消息服務(wù)與客戶端建立音視頻通話；通話時(shí)不使用瀏覽器，通話界面可根據(jù)需要配置為隱藏或顯示；當(dāng)機(jī)器人正處于通話中時(shí)，新的通話請(qǐng)求會(huì)被拒絕。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

1.客戶端可在瀏覽器上輸入機(jī)器人編號(hào)與指定的機(jī)器人進(jìn)行音視頻通話，無需安裝任何插件，在檢查到通話因異常而中斷時(shí)會(huì)自動(dòng)與機(jī)器人進(jìn)行重連。

2.信令服務(wù)支持多組客戶端與機(jī)器人1對(duì)1音視頻通話，可以通過與客戶端及機(jī)器人之間的Websokcet連接監(jiān)測(cè)通話是否已經(jīng)結(jié)束。

3.引入消息服務(wù)后，客戶端只需指定進(jìn)行通話的機(jī)器人ID，消息服務(wù)就會(huì)向這個(gè)機(jī)器人發(fā)送建立通話連接所需的信息，消除了機(jī)器人IP頻繁變化帶來的麻煩。