[發(fā)明專利]語音輸出方法、裝置、存儲介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010761629.3
• 申請日: 2020-07-31
• 公開（公告）號: CN111951787A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 胡可鑫;魏晨;雷宗;秦斌;王剛
• 申請（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/22;G06F3/01
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 賀曉蕾

1.一種語音輸出方法，其特征在于，應(yīng)用于電子設(shè)備，所述電子設(shè)備中設(shè)置有語音助手系統(tǒng)，所述方法包括：

通過圖像采集單元監(jiān)測目標(biāo)對象的動作行為，以獲取包含所述動作行為的影像信息；

根據(jù)預(yù)先訓(xùn)練后的多模態(tài)識別模型和所述影像信息確定所述動作行為發(fā)生的目標(biāo)場景和所述動作行為對應(yīng)的目標(biāo)事件；

在確定所述目標(biāo)場景和所述目標(biāo)事件后，控制所述語音助手系統(tǒng)開啟；

根據(jù)所述目標(biāo)場景和所述目標(biāo)事件從所述語音助手系統(tǒng)的語音庫中確定目標(biāo)語音；

輸出所述目標(biāo)語音，所述目標(biāo)語音對應(yīng)的語音文本為針對所述動作行為的反饋內(nèi)容文本。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述影像信息包括預(yù)設(shè)時長的視頻，所述多模態(tài)識別模型包括：場景識別模型和事件識別模型，所述根據(jù)預(yù)先訓(xùn)練后的多模態(tài)識別模型和所述影像信息確定所述動作行為發(fā)生的目標(biāo)場景和所述動作行為對應(yīng)的目標(biāo)事件，包括：

從所述影像信息中獲取第一圖像和多個第二圖像，所述第一圖像為所述動作行為發(fā)生的背景圖像，所述第二圖像為用于表征所述動作行為的人像；

將所述第一圖像作為所述場景識別模型的輸入，以獲取所述場景識別模型輸出的用于表征所述目標(biāo)場景的目標(biāo)場景標(biāo)簽；

將所述多個第二圖像作為所述事件識別模型的輸入，以獲取所述事件識別模型輸出用于表征所述目標(biāo)事件的目標(biāo)事件標(biāo)簽。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從所述影像信息中獲取第一圖像和多個第二圖像，包括：

獲取所述影像信息中的每一幀的視頻圖像；

通過預(yù)設(shè)的圖像識別算法將每個所述視頻圖像分割為非人像部分和人像部分；

通過預(yù)設(shè)的圖像拼接算法對所述影像信息中的多個所述非人像部分進行拼接，以獲取所述第一圖像；

將所述影像信息中的多個所述人像部分作為所述多個第二圖像。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述通過信息采集設(shè)備監(jiān)測目標(biāo)對象的動作行為，以獲取包含所述動作行為的影像信息之前，所述方法還包括：

分別通過第一訓(xùn)練數(shù)據(jù)和第二訓(xùn)練數(shù)據(jù)對預(yù)設(shè)分類模型進行訓(xùn)練，以獲取所述多模態(tài)識別模型，所述第一訓(xùn)練數(shù)據(jù)包括多個背景圖像以及每個背景圖像對應(yīng)的場景標(biāo)簽，所述第二訓(xùn)練數(shù)據(jù)包括用于表征不同動作行為的多組人像以及每組人像圖像對應(yīng)的事件標(biāo)簽。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述語音庫對應(yīng)有用于表征場景標(biāo)簽、事件標(biāo)簽和語音標(biāo)簽三者之間的關(guān)聯(lián)關(guān)系的標(biāo)簽關(guān)聯(lián)表，所述根據(jù)所述目標(biāo)場景和所述目標(biāo)事件從所述語音助手系統(tǒng)的語音庫中確定目標(biāo)語音，包括：

在所述語音助手系統(tǒng)開啟后，根據(jù)所述目標(biāo)場景標(biāo)簽和所述目標(biāo)時間標(biāo)簽，從所述標(biāo)簽關(guān)聯(lián)表中確定目標(biāo)語音標(biāo)簽；

獲取所述目標(biāo)語音標(biāo)簽對應(yīng)的語音作為所述目標(biāo)語音。

6.一種語音輸出裝置，其特征在于，應(yīng)用于電子設(shè)備，所述電子設(shè)備中設(shè)置有語音助手系統(tǒng)，所述裝置包括：

行為監(jiān)測模塊，被配置為通過圖像采集單元監(jiān)測目標(biāo)對象的動作行為，以獲取包含所述動作行為的影像信息；

行為識別模塊，被配置為根據(jù)預(yù)先訓(xùn)練后的多模態(tài)識別模型和所述影像信息確定所述動作行為發(fā)生的目標(biāo)場景和所述動作行為對應(yīng)的目標(biāo)事件；

系統(tǒng)開啟模塊，被配置為在確定所述目標(biāo)場景和所述目標(biāo)事件后，控制所述語音助手系統(tǒng)開啟；

語音確定模塊，被配置為根據(jù)所述目標(biāo)場景和所述目標(biāo)事件從所述語音助手系統(tǒng)的語音庫中確定目標(biāo)語音；

語音輸出模塊，被配置為輸出所述目標(biāo)語音，所述目標(biāo)語音對應(yīng)的語音文本為針對所述動作行為的反饋內(nèi)容文本。