[發明專利]用于多模式會話交互中的口頭語言理解的眼睛注視

有效

• 申請號: 201580050763.X
• 申請日: 2015-09-25
• 公開（公告）號: CN107077201B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: A·普羅科菲瓦;F·A·塞利基爾馬茲;D·Z·哈卡尼-圖爾;L·赫科;M·斯拉尼
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種計算機實現的方法，包括：

標識顯示器上的視覺上下文中可用于用戶交互的多個視覺元素；

接收包括用戶所說的一個或多個詞語的語音輸入；

從所述語音輸入提取詞匯特征；

對于所述多個視覺元素中的每個視覺元素，計算所述詞匯特征與所述多個視覺元素中的相應視覺元素之間的詞匯相似性和針對每個詞匯相似性的詞匯概率；

從跟蹤組件接收注視輸入；

從所述注視輸入確定熱圖，所述熱圖表示所述顯示器上的所述視覺上下文中所述用戶正在觀看的對象的概率模型，所述對象包括所述多個視覺元素；

使用多個詞匯概率中的詞匯概率和所述熱圖的組合，確定所述多個視覺元素的特定視覺元素是所述語音輸入的預期的視覺元素；

由一個或多個處理器確定所述語音輸入包括被引導到所述特定視覺元素的命令；以及

使得與所述特定視覺元素相關聯的動作被執行。

2.根據權利要求1所述的計算機實現的方法，其中所述視覺上下文是自由形式的web瀏覽器或者應用界面。

3.根據權利要求1所述的計算機實現的方法，還包括接收與所述特定視覺元素相關聯的頭部姿態輸入，其中所述頭部姿態輸入用作所述注視輸入的代理。

4.根據權利要求1所述的計算機實現的方法，其中使用所述詞匯概率和所述熱圖的所述組合包括：

確定所述顯示器上的所述多個視覺元素中的每個視覺元素周圍的區域，每個區域與所確定的所述區域中的其他區域不相交；以及

確定從每個區域到與所述熱圖相關聯的固定點的距離。

5.根據權利要求4所述的計算機實現的方法，還包括：

至少部分地基于所計算的相應的概率，過濾所述多個視覺元素中的各個視覺元素；

標識具有高于預定閾值的相應的概率的一個或多個視覺元素；以及

從所述一個或多個視覺元素標識所述特定視覺元素。

6.根據權利要求1所述的計算機實現的方法，還包括：

標識與所述注視輸入相關聯的多個固定點；

將預定數量的所述多個固定點一起分組在一個群集中；以及

將所述群集的質心標識為用于從所述注視輸入提取注視特征的特定固定點，所述注視特征能夠用以確定所述注視輸入與所述特定視覺元素相關聯。

7.根據權利要求6所述的計算機實現的方法，還包括：

計算所述語音輸入的起始時間和結束時間；以及

至少部分地基于以下項來提取所述注視特征：

所述特定固定點和與所述多個視覺元素中的各個視覺元素相關聯的區域之間的距離；

所述語音輸入的所述起始時間；以及

所述語音輸入的所述結束時間。

8.根據權利要求1所述的計算機實現的方法，其中所述動作包括所述特定視覺元素的選擇或者信息到所述特定視覺元素中的輸入中的一項。

9.一種用于交互的設備，包括：

一個或多個處理器；

利用指令編碼的計算機可讀介質，所述指令當由所述一個或多個處理器執行時將所述設備配置成執行操作，所述操作包括：

標識多個視覺元素以用于在顯示器上的視覺上下文中接收用戶交互；

確定從語音輸入轉錄的用戶話語，所述語音輸入包括以特定語言所說的一個或多個詞語，所述用戶話語包括用以執行動作的命令；

從眼睛跟蹤組件接收注視輸入；

從所述注視輸入確定熱圖，所述熱圖表示所述顯示器上的所述視覺上下文中所述用戶正在觀看的對象的概率模型，所述對象包括所述多個視覺元素；

至少部分地基于所述用戶話語，提取詞匯特征；

對于所述多個視覺元素中的每個視覺元素，計算所述詞匯特征與所述多個視覺元素中的相應視覺元素之間的詞匯相似性和針對每個詞匯相似性的詞匯概率；

至少部分地基于所述熱圖，提取注視特征；以及

使用多個詞匯概率中的詞匯概率和所述注視特征的組合，確定用以執行所述動作的所述命令被引導到預期的視覺元素。