[發(fā)明專利]視頻通話過程語(yǔ)音采集方法、裝置、計(jì)算機(jī)設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010728116.2
• 申請(qǐng)日: 2020-07-23
• 公開（公告）號(hào): CN111885341A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 余強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號(hào): H04N7/14
• 分類號(hào): H04N7/14;H04L29/06;G10L15/26
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種視頻通話過程語(yǔ)音采集方法，其特征在于，包括控制平臺(tái)執(zhí)行的如下步驟：

獲取用戶終端發(fā)送的攜帶終端ID的視頻通話請(qǐng)求，基于所述視頻通話請(qǐng)求創(chuàng)建用戶終端和虛擬形象平臺(tái)之間的與所述終端ID關(guān)聯(lián)的專用通信通道，所述虛擬形象平臺(tái)包括原始虛擬坐席和與所述原始虛擬坐席對(duì)應(yīng)的原始坐席ID；

接收所述用戶終端的通話媒體流數(shù)據(jù)，所述通話媒體流數(shù)據(jù)包括目標(biāo)坐席ID、音頻媒體流數(shù)據(jù)和終端ID，將所述目標(biāo)坐席ID和所述終端ID關(guān)聯(lián)存儲(chǔ)，獲取與所述音頻媒體流數(shù)據(jù)對(duì)應(yīng)的響應(yīng)話術(shù)文本；

將所述響應(yīng)話術(shù)文本和所述目標(biāo)坐席ID發(fā)送給虛擬形象平臺(tái)，將與所述目標(biāo)坐席ID相匹配的所述原始坐席ID對(duì)應(yīng)的所述原始虛擬坐席確定為目標(biāo)虛擬坐席，以使所述目標(biāo)虛擬坐席通過所述專用通信通道播報(bào)所述響應(yīng)話術(shù)文本對(duì)應(yīng)的響應(yīng)語(yǔ)音數(shù)據(jù)；

與所述媒體流處理平臺(tái)建立MRCP連接，將所述響應(yīng)話術(shù)文本關(guān)聯(lián)的所述目標(biāo)坐席ID發(fā)送給所述媒體流處理平臺(tái)；

若接收到媒體流處理平臺(tái)發(fā)送的所述目標(biāo)坐席ID對(duì)應(yīng)的目標(biāo)虛擬坐席的話術(shù)播報(bào)結(jié)束通知，則關(guān)閉與所述媒體流處理平臺(tái)的MRCP連接，根據(jù)所述目標(biāo)坐席ID啟動(dòng)語(yǔ)音識(shí)別平臺(tái)采集音頻媒體流數(shù)據(jù)。

2.如權(quán)利要求1所述的視頻通話過程語(yǔ)音采集方法，其特征在于，所述獲取與所述音頻媒體流數(shù)據(jù)對(duì)應(yīng)的響應(yīng)話術(shù)文本，包括：

啟動(dòng)語(yǔ)音識(shí)別平臺(tái)識(shí)別所述音頻媒體流數(shù)據(jù)，將所述音頻數(shù)據(jù)轉(zhuǎn)化成用戶請(qǐng)求文本；

接收所述語(yǔ)音識(shí)別平臺(tái)發(fā)送的所述用戶請(qǐng)求文本，采用響應(yīng)話術(shù)模型對(duì)所述用戶請(qǐng)求文本進(jìn)行識(shí)別，生成與所述用戶請(qǐng)求文本對(duì)應(yīng)的響應(yīng)話術(shù)文本。

3.如權(quán)利要求2所述的視頻通話過程語(yǔ)音采集方法，其特征在于，所述采用響應(yīng)話術(shù)模型對(duì)所述用戶請(qǐng)求文本進(jìn)行識(shí)別，生成與所述用戶請(qǐng)求文本對(duì)應(yīng)的響應(yīng)話術(shù)文本，包括：

采用關(guān)鍵字匹配算法對(duì)所述用戶請(qǐng)求文本進(jìn)行關(guān)鍵字提取，獲取文本關(guān)鍵字；

將所述文本關(guān)鍵字輸入預(yù)先訓(xùn)練好的響應(yīng)話術(shù)模型，生成與所述用戶請(qǐng)求文本對(duì)應(yīng)的響應(yīng)話術(shù)文本。

4.如權(quán)利要求1所述的視頻通話過程語(yǔ)音采集方法，其特征在于，在所述接收所述用戶終端的通話媒體流數(shù)據(jù)之前，所述視頻通話過程語(yǔ)音采集方法還包括：

在所述專用通信通道創(chuàng)建之后的預(yù)設(shè)時(shí)間段內(nèi)，判斷是否接收到所述語(yǔ)音識(shí)別平臺(tái)采集所述用戶終端的通話媒體流數(shù)據(jù)；

若在預(yù)設(shè)時(shí)間段內(nèi)，接收到所述用戶終端生成的通話媒體流數(shù)據(jù)，則觸發(fā)將所述目標(biāo)坐席ID和終端ID關(guān)聯(lián)存儲(chǔ)，獲取與所述音頻媒體流數(shù)據(jù)對(duì)應(yīng)的響應(yīng)話術(shù)文本；

若在預(yù)設(shè)時(shí)間段內(nèi)，沒有接收到所述用戶終端生成的通話媒體流數(shù)據(jù)，則斷開用戶終端和虛擬形象平臺(tái)之間的專用通信通道。

5.如權(quán)利要求1所述的視頻通話過程語(yǔ)音采集方法，其特征在于，所述將所述響應(yīng)話術(shù)文本關(guān)聯(lián)的所述目標(biāo)坐席ID發(fā)送給所述媒體流處理平臺(tái)，包括：

所述控制平臺(tái)生成攜帶有目標(biāo)坐席ID的MRCP協(xié)議報(bào)文，將所述MRCP協(xié)議報(bào)文進(jìn)行封裝并發(fā)送給所述媒體流處理平臺(tái)，以使所述媒體流處理平臺(tái)獲取所述MRCP協(xié)議報(bào)文所攜帶的目標(biāo)坐席ID。

6.一種視頻通話過程語(yǔ)音采集方法，其特征在于，包括虛擬形象平臺(tái)執(zhí)行的如下步驟：

創(chuàng)建用戶終端和虛擬形象平臺(tái)之間的與所述終端ID關(guān)聯(lián)的專用通信通道；

接收響應(yīng)話術(shù)文本，基于所述響應(yīng)話術(shù)文本獲取響應(yīng)語(yǔ)音數(shù)據(jù)，控制目標(biāo)虛擬坐席通過所述專用通信通道播報(bào)所述響應(yīng)話術(shù)文本對(duì)應(yīng)的響應(yīng)語(yǔ)音數(shù)據(jù)；

在所述響應(yīng)語(yǔ)音數(shù)據(jù)播報(bào)結(jié)束時(shí)，生成攜帶目標(biāo)坐席ID的話術(shù)播報(bào)結(jié)束通知，將所述話術(shù)播報(bào)結(jié)束通知發(fā)送給媒體流處理平臺(tái)。

7.如權(quán)利要求6所述的視頻通話過程語(yǔ)音采集方法，其特征在于，所述在所述響應(yīng)語(yǔ)音數(shù)據(jù)播報(bào)結(jié)束時(shí)，生成攜帶目標(biāo)坐席ID的話術(shù)播報(bào)結(jié)束通知，包括：

啟動(dòng)監(jiān)控程序?qū)δ繕?biāo)虛擬坐席播報(bào)所述響應(yīng)語(yǔ)音數(shù)據(jù)進(jìn)行監(jiān)控，并生成播報(bào)狀態(tài)標(biāo)識(shí)，所述播報(bào)狀態(tài)標(biāo)識(shí)包括播報(bào)標(biāo)識(shí)和停止標(biāo)識(shí)；

若所述監(jiān)控程序監(jiān)控到所述播報(bào)狀態(tài)標(biāo)識(shí)為停止標(biāo)識(shí)，則生成攜帶與所述目標(biāo)虛擬坐席對(duì)應(yīng)的目標(biāo)坐席ID的話術(shù)播報(bào)結(jié)束通知。