[發明專利]人機對話交互的方法和裝置、用于人機對話交互的裝置

有效

• 申請號: 201710056801.3
• 申請日: 2017-01-25
• 公開（公告）號: CN108363706B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 趙海舟;許靜芳
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G10L15/22;G10L13/033;G10L15/06;G10L15/07;G10L25/63
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本發明實施例提供了一種人機對話交互的方法和裝置，其中所述方法包括：獲取交互方的語音數據、圖像數據、以及場景數據；依據所述場景數據獲取對應的場景特征模型；將所述語音數據和圖像數據輸入至所述場景特征模型得到目標人物特征屬性；采用所述目標人物特征屬性和場景數據確定目標對話策略；基于所述目標對話策略控制機器人的表情、語音和/或動作輸出。本發明實施例使得在人機交互的過程中，機器可以根據目標對話策略配合交互方當前對話的特征，與交互方進行擬人化的對話，從而提高交互方交互體驗。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種人機對話交互的方法和一種人機對話交互的裝置、以及用戶人機對話交互的裝置。

背景技術

人與機器的交互，就是人與機器進行信息交換的過程。信息交換效率是衡量人機對話交互最重要的指標。人與機器的交互，將追隨人與人交互的演化路徑，對話交互是最高效的人人交互方式，也將成為最高效的人機對話交互方式。

現有的人機對話技術，只能將交互方的語音信息轉成文字信息，不能識別更多的信息，這樣造成機器在回復交互方時只能根據單一的參數、模型去產生回復。另外，現有的人機對話系統回復時通常是合成語音信息為主，對話形態單調，交互方體驗效果不佳。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種人機對話交互的方法和相應的一種人機對話交互的裝置。

為了解決上述問題，本發明實施例公開了一種人機對話交互的方法，包括：

獲取交互方的語音數據、圖像數據、以及場景數據；

依據所述場景數據獲取對應的場景特征模型；

將所述語音數據和圖像數據輸入至所述場景特征模型得到目標人物特征屬性；

采用所述目標人物特征屬性和場景數據確定目標對話策略；

基于所述目標對話策略控制機器人的表情、語音和/或動作輸出。

可選地，所述獲取交互方的語音數據、圖像數據、以及場景數據的步驟包括：

基于麥克風采集所述交互方的語音數據；

基于攝像頭采集所述交互方的圖像數據；

以及，基于傳感器采集所述場景數據。

可選地，所述獲取交互方的語音數據、圖像數據、以及場景數據的步驟包括：

展示交互界面；

基于所述交互界面提示交互方輸入語音數據、圖像數據、以及場景數據。

可選地，所述依據所述場景數據獲取對應的場景特征模型的步驟包括：

從所述場景數據中提取出場景特征屬性；

獲取所述場景特征屬性對應的場景特征模型。

可選地，所述場景特征模型通過如下方式訓練：

獲取各個場景特征模型下的訓練樣本以及每個訓練樣本對應的人物特征屬性；所述訓練樣本包括訓練語音數據和訓練圖像數據；

從所述訓練語音數據中提取出訓練語調特征數據和訓練紋路特征數據；

從所述訓練圖像數據中提取出訓練表情特征數據和訓練動作特征數據；

采用每個場景特征下的訓練樣本包括的所述語調特征數據、訓練紋路特征數據、訓練表情特征數據和/或訓練動作特征數據，以及對應的人物特征屬性，訓練得到各場景特征模型。

可選地，所述將所述語音數據和圖像數據輸入至所述場景特征模型得到目標人物特征屬性，包括：