[發明專利]一種機器人及其控制方法、計算機可讀存儲介質

在審

• 申請號: 201911384200.0
• 申請日: 2019-12-28
• 公開（公告）號: CN111241922A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 黃冠文;程駿;龐建新;譚歡;熊友軍
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李莉

本申請公開了一種機器人及其控制方法、計算機可讀存儲介質，其中，該機器人的控制方法包括：從采集的待檢測圖像中的獲取至少一個人臉信息；從至少一個人臉信息中獲取對應的至少一個嘴唇信息；將至少一個嘴唇信息輸入至預設深度學習模型，以對至少一個嘴唇信息進行分類，以進一步確定正在說話的說話人臉區域；控制機器人轉動至朝向說話人臉區域，并開啟語音識別功能。通過上述方式，一方面能夠在多人同時交互時，準確定位正在說話的用戶，另一方面能夠避免噪聲對機器人的干擾，提高了用戶人機交互體驗。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種機器人及其控制方法、計算機可讀存儲介質。

背景技術

隨著人工智能的發展和進步，人機交互越來越得到廣泛的應用?，F有的機器人可以做到獲取用戶的語音信息進行處理，并與用戶完成對話。其主要是通過聲源進行定位，以進一步確定說話人的方向，并轉動朝向說話人進行語音對話。

但是，在面對一群人或者有噪聲干擾時，機器人并不能準確的判斷聲源的方向，造成“你對它說話，它卻面對別人”的“不禮貌”行為，降低了用戶人機交互的體驗。

發明內容

為解決上述問題，本申請提供了一種機器人及其控制方法、計算機可讀存儲介質，一方面能夠在多人同時交互時，準確定位正在說話的用戶，另一方面能夠避免噪聲對機器人的干擾，提高了用戶人機交互體驗。

本申請采用的一個技術方案是：提供一種機器人的控制方法，該方法包括：從采集的待檢測圖像中的獲取至少一個人臉信息；從至少一個人臉信息中獲取對應的至少一個嘴唇信息；將至少一個嘴唇信息輸入至預設深度學習模型，以對至少一個嘴唇信息進行分類，以進一步確定正在說話的說話人臉區域；控制機器人轉動至朝向說話人臉區域，并開啟語音識別功能。

其中，人臉信息包括人臉框坐標、人臉特征點坐標、嘴唇框坐標、嘴唇特征點坐標、人臉ID中的至少一個，人臉ID用于表示對應人臉信息的身份。

其中，從至少一個人臉信息中獲取對應的至少一個嘴唇信息，包括：根據至少一個人臉信息中的目標人臉信息確定對應的目標人臉區域；獲取目標人臉區域的特征點信息；判斷目標人臉信息和/或特征點信息是否滿足設定約束條件；若滿足，則確定目標人臉區域中的嘴唇信息。

其中，確定目標人臉區域中的嘴唇信息，包括：根據目標人臉信息確定人臉ID；其中，人臉ID用于表示對應人臉信息的身份；根據目標人臉區域中的特征點信息確定嘴唇特征向量；將嘴唇特征向量對應人臉ID進行存儲。

其中，將至少一個嘴唇信息輸入至預設深度學習模型，以對至少一個嘴唇信息進行分類，以進一步確定正在說話的說話人臉區域，包括：在對應人臉ID存儲的嘴唇特征向量的數量滿足設定數量要求時，將對應人臉ID存儲的多個嘴唇特征向量輸入至預設深度學習模型，以對多個嘴唇特征向量進行分類，以進一步確定目標人臉區域是否為正在說話的說話人臉區域。

其中，根據目標人臉區域中的特征點信息確定嘴唇特征向量，包括：根據目標人臉區域中的特征點信息，確定嘴唇框坐標；根據嘴唇框坐標獲取嘴唇圖像；對嘴唇圖像進行編碼，以得到嘴唇特征向量。

其中，控制機器人轉動至朝向說話人臉區域，并開啟語音識別功能，包括：獲取說話人臉區域的人臉框坐標；獲取機器人的當前朝向與人臉框坐標之間的偏轉角；根據偏轉角控制機器人轉動至朝向說話人臉區域；開啟語音識別功能。

本申請采用的另一個技術方案是：提供一種機器人，該機器人包括相互連接的處理器和存儲器，存儲器用于存儲程序數據，處理器用于執行程序數據以實現如上述的方法。

本申請采用的另一個技術方案是：提供一種計算機可讀存儲介質，該計算機可讀存儲介質中存儲有程序數據，程序數據在被處理器執行時，用以實現如上述的方法。