[發明專利]作業指導信息的提示方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011197754.2
• 申請日: 2020-10-30
• 公開（公告）號: CN112288883B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 侯欣如
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06V40/16;G06V20/50
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種作業指導信息的提示方法，其特征在于，包括：

獲取AR設備拍攝的現實場景圖像；

根據圖像識別模型對所述現實場景圖像進行目標對象識別，得到識別結果以及所述識別結果的置信度；所述目標對象包括用戶面部圖像以及設備或者零部件；

根據所述設備或者零部件的識別結果，確定與所述設備或者零部件的識別結果對應的多個作業指導信息；

在所述設備或者零部件的識別結果的置信度位于第一區間的情況下，從所述多個作業指導信息中選擇出用于對所述用戶進行目標指導的目標作業指導信息；其中，在所述用戶面部圖像的負面情緒識別結果的置信度位于所述第一區間的情況下，所述目標作業指導信息包括從所述對所述用戶進行目標指導的目標作業指導信息中選擇的用于對所述用戶的負面情緒進行緩解的目標作業指導信息；

通過所述AR設備展示包含所述目標作業指導信息的AR畫面。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述設備或者零部件的識別結果的置信度位于第二區間的情況下，從所述多個作業指導信息中選擇多個用于供用戶選擇的候選作業指導信息；其中，所述第二區間的置信度小于所述第一區間的置信度。

3.根據權利要求2所述的方法，其特征在于，所述在所述設備或者零部件的識別結果的置信度位于第一區間的情況下，從所述多個作業指導信息中選擇用于對用戶進行目標指導的目標作業指導信息，包括：

在所述設備圖像或者所述零部件圖像的識別結果的置信度位于所述第一區間的情況下，從所述多個作業指導信息中選擇用于對所述設備或者所述零部件的操作方式進行指導的目標作業指導信息。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述根據圖像識別模型對所述現實場景圖像進行目標對象識別，包括：

識別所述現實場景圖像中的設備或者零部件圖像的特征標識；

根據所述特征標識，從預設的模型庫中確定與所述特征標識對應的目標圖像識別模型；

根據所述目標圖像識別模型對所述設備或者零部件圖像進行識別。

5.根據權利要求1-3任一項所述的方法，其特征在于，所述根據圖像識別模型對所述現實場景圖像進行目標對象識別，包括：

提取所述現實場景圖像中的設備或者零部件圖像的特征點；

將所述提取的特征點與數據庫中的標定特征點進行匹配，得到所述設備或者零部件的識別結果。

6.根據權利要求1所述的方法，其特征在于，所述根據圖像識別模型對所述現實場景圖像進行目標對象識別，包括：

識別所述AR設備拍攝的現實場景圖像中的用戶面部圖像；

根據情緒識別模型對用戶的負面情緒進行識別，得到所述面部圖像的情緒識別結果。

7.根據權利要求2所述的方法，其特征在于，在所述用戶面部圖像的識別結果的置信度位于所述第二區間的情況下，所述方法還包括：

從所述多個供用戶選擇的候選作業指導信息中選擇所述目標作業指導信息。

8.一種作業指導信息的選擇裝置，其特征在于，包括：

獲取模塊，用于獲取AR設備拍攝的現實場景圖像；

識別模塊，用于根據圖像識別模型對所述現實場景圖像進行目標對象識別，得到識別結果以及所述識別結果的置信度；所述目標對象包括用戶面部圖像以及設備或者零部件；

選擇模塊，用于根據所述設備或者零部件的識別結果，確定與所述設備或者零部件的識別結果對應的多個作業指導信息；并在所述設備或者零部件的識別結果的置信度位于第一區間的情況下，從所述多個作業指導信息中選擇出用于對所述用戶進行目標指導的目標作業指導信息，其中，在所述用戶面部圖像的負面情緒識別結果的置信度位于所述第一區間的情況下，所述目標作業指導信息包括從所述對所述用戶進行目標指導的目標作業指導信息中選擇的用于對所述用戶的負面情緒進行緩解的目標作業指導信息；

展示模塊，用于通過所述AR設備展示包含所述目標作業指導信息的AR畫面。